Spørsmålet er i hvilken grad systemet er rigget til å luke ut dårlig forskning

De endelige retningslinjene for Plan S er nå klar, og cOAlition-S har demonstrert at de ikke tar bekymringene om kvalitetskontroll på alvor.

Når cOAlition-S skriver: «We emphasise our commitment to strong peer review systems alongside other forms of quality assurance», så følger de det ikke opp med noe som helst håndfast. Det er altså tomme ord.

Riktignok kreves det at tidsskriftene skal være listet i Directory of Open Access Journals (DOAJ), men DOAJ stiller ingen reelle krav vil kvalitetssikring. Det kreves kun at tidsskriftet har en eller annen form for redaktørordning, og at de har en eller annen form for fagfellevurdering bare det er beskrevet på tidsskriftets hjemmeside.

Med andre ord: Tidsskriftet skal tilby det de sier de tilbyr og ikke være ren svindel. Det er knapt mulig å tenke seg et lavere minimumskrav for kvalitetskontroll og det er vanskelig å se hvilke systemer som ikke godtas under Plan S.

Det er i disse dager en høring på forslag om å justere Norsk Publiseringsindikator (NPI) for å samkjøre med kravene i Plan S slik at åpen publisering gir egen uttelling. Men NPI kan ikke sette like lave krav til kvalitetssikring som Plan S. I lys av endringer i publiseringslandskapet bør Norsk Publiseringsindikator (NPI) røktes strengere og det bør settes noen tydelige minimumskrav til systemer for kvalitetssikring. Først og fremst bør dette gjelde anonym fagfellevurdering og ordinært redaksjonelt ansvar, men man kan også tenke seg andre krav. Minimumskravene bør selvsagt gjelde for alle tidsskrifter enten de er åpne eller ikke.

Den viktigste kvalitetssikringen ved publisering er fagfellevurderinger, og de fleste seriøse tidsskrifter baserer seg på såkalt «double blind peer-review» der både forfatter og fagfelle er anonyme for hverandre. Anonym vurdering er et av de viktigste grepene for at fagfelleuttalelsen skal være uhildet. Det skal hindre at fagfeller ikke skal frykte for senere mulige negative konsekvenser av å gi sin ærlige vurdering (f.eks. i senere vurderinger, ansettelser, publiseringer, konferansedeltakelse etc).

Hvis både fagfellenes navn og reviewerrapporter publiseres sammen med artikkelen (såkalt «open peer-review») kan man også tenke seg muligheten for negative reaksjoner utenfor det akademiske miljøet, f.eks. i sosiale medier. Det er en generell fare for at ikke-anonyme fagfellevurderinger vil påvirke de faglige vurderingene og generelt legge en demper på kritikk.

Anonym forfatter en sikkerhet mot at vurderingene farges av forfatternavnet. Veletablerte og respekterte forskere (samt de som bare er generelt godt likt) vil kunne få en mer fordelaktig behandling, mens mer ukjente navn eller kontroversielle navn vil kunne oppleve det motsatte. Et slikt system vil altså kunne legge til rette for systematisk forskjellsbehandling og at ikke bare faglige forhold avgjør vurderingen.

«Double blind peer-review» bør derfor være hovedregelen, og NPI bør ha dette som standard krav til tidsskriftene. I såkalt «single blind peer-review» er forfatter ikke anonym for reviewerne og det er visst utbredt praksis på enkelte fagfelt. Det viktigste er at fagfellevurderingen er anonym, så man kan vurdere å godta også «single blind» hvis det er gode grunner for denne ordningen på disse fagfeltene.

En del tidsskrifter praktiserer imidlertid langt mer kreative former for fagfellevurderinger, og de vil ofte innebære at vurderingene ikke er anonyme. Et eksempel er «collaborative peer review» der tidsskriftet tilbyr en plattform er der fagfeller og forfatter kan diskutere revisjon av manuskriptet sammen. Det høres flott ut med dialog, men åpner opp for at både overtalelseskunster og eventuell utmattingstaktikk får større spillerom enn faktisk forbedring av artikkelen. Generelt sett bør enhver type fagfellevurdering som svekker en uhildet faglig vurdering ikke godtas i NPI, og et system basert på anonym fagfellevurdering bør være et krav.

En viktig del av en redaktørs jobb bør være å faktisk ta avgjørelser på hva som skal publiseres. Dette er et faglig ansvar, og redaktøren bør selvsagt være en faglig solid person. Redaktøren har det overordnede ansvaret for at kvalitetssikring gjennom fagfellevurdering fungerer som intendert. Redaktør bør derfor f.eks. kunne skjære igjennom og avvise et manuskript hvis forfatter ikke følger opp velbegrunnet kritikk, eller hvis fagfellene viser seg å ikke gi tilstrekkelig faglig konstruktive tilbakemeldinger. En redaktør kan se et viktigheten av et arbeid på tvers av fagfellenes vurdering, og gi forfatter en ekstra sjanse for revisjon. Redaksjonelt ansvar forutsetter slik en viss redaksjonell frihet.

Enkelte tidsskrifter har derimot ordninger der de hevder at de har utelukket «editor bias». For å utelukke «editor bias» må man imidlertid frata redaktøren store deler av både det faglige ansvaret og redaksjonell frihet. En mulighet som benyttes er å bare la redaktør kunne avvise et manuskript før den er sendt ut til fagfeller, og deretter er det utelukkende opp til fagfellene å bestemme. Et eksempel er systemer som ikke tillater avvisning så lenge ikke alle fagfellene er enige om det. Da har redaktøren et sterkt begrenset redaktøransvar og er ikke lengre en reell del av systemet for kvalitetssikring.

Enkelte tidsskrifter har eksplisitte forventninger til redaktører om at de skal publisere en viss mengde artikler i året, og eventuelt at honorar er knyttet til nettopp slike ordninger. Dette er særlig problematisk for online tidsskrifter uten begrensninger på antall publikasjoner i året. Slike ordninger er potensielt kompromitterende for faglig uhildethet ved at redaktør får en direkte egeninteresse i å godta artikler. Redaktørkontrakter vil oftest ikke være offentlig tilgjengelig, men hvis det dukker opp dokumenterte tilfeller av denne typen kontrakter bør tidsskriftet automatisk fjernes fra NPI.

I dag er det stor variasjon på nivå 1. Det er både svært gode tidsskrifter og tidsskrifter med utilfredsstillende systemer for kvalitetssikring. Røvertidsskrifter er holdt utenfor, men det finnes altså en god del ellers legitime tidsskrifter som har utilfredsstillende systemer for kvalitetssikring.

Et nivå 0 bør forbeholdes tidsskrifter som praktiserer kreative ordninger for fagfellevurdering og ikke har ordinært redaksjonelt ansvar. Nivå 0 bør således gis vesentlig lavere uttelling enn nivå 1.

Det er generelt vanskelig å bli enige om hva som er bra eller endog best forskningskvalitet. Det er langt enklere å bli enige om hva som ikke er bra. Selv om ingen systemer vil fungere perfekt er det viktig at vi setter som krav at systemene for kvalitetskontroll i det minste forsøker å sikre faglig uhildede vurderinger.

Ethvert tidsskrift kan kalle seg vitenskapelig og lage sine egne ordninger som på en eller annen måte kan kalles for fagfellevurdering. Ethvert tidsskrift vil selvsagt også si at de står for høy kvalitet, det motsatte ville jo ikke fremme salget. Kvalitetskontroll må imidlertid ha et reelt innhold og fylle visse minimumskrav. Tomme ord garanterer ingenting.

Å sette tydelige minimumskrav til anonym fagfellevurdering og redaktøransvar er svært moderat i den forstand at dette er krav som inntil for få år siden ble tatt for gitt. De aller fleste tidsskrifter i NPI vil derfor ikke bli berørt i det hele tatt. Dagens tidsskrifthierarki har gjort at tidsskrifter med mer kreative ordninger har hatt lav faglig anerkjennelse og i liten grad blitt tatt seriøst.

Når enkelte ønsker å rive ned tidsskrifthierarkiet gir det større spillerom for tidsskrifter med svak kvalitetssikring ved å argumentere for at man skal se helt bort fra publiseringskanal. Vi bør selvsagt vurdere forskningsarbeider i seg selv, men vi kan ikke av den grunn la være å kreve reelle systemer for kvalitetssikring. Det er vanskelig å se at å ikke sette krav til kvalitetssikring vil hjelpe mot eksisterende problemer som publiseringsbias, reproduserbarhetsproblemer eller forskningsjuks. Tvert imot kan slike problemer få større spillerom.

I et endret publiseringslandskap trenger vi en grundigere debatt om hvorvidt eksisterende systemer er gode nok, og hvordan det kan forbedres. Kravet kan ikke være hvorvidt systemene muliggjør å publisere god forskning, for god forskning kan publiseres hvor som helst. Spørsmålet er i hvilken grad systemet er rigget til å luke ut dårlig forskning.