Mislykket kritikk av tidsskriftshierarkiet

I et innlegg i Khrono presenterte jeg et forsvar for tidsskriftshierarkiet. Forsvaret består i noen enkle poenger – «konkurranse- og seleksjonsmodellen» - som de fleste forskere er enige i; som at mer prestisjetunge tidsskrift i snitt har høyere ekspertise hos fagfellene, flere innsendte (og gode) arbeider, og høyere konkurranse om plassen. Disse poengene gir forventninger om at bedre tidsskrift gir bedre forskning per artikkel («bidragseffekten»), men også om at tidskriftshierarkiet gir makrogevinster for hele forskningssystemet, gjennom indirekte virkninger på konkurransen om å levere god forskning. Derfor er de aller fleste toppforskningsmiljøer, i Norge og internasjonalt, varme forsvarere av tidsskriftshierarkier på sine felt. Plan-S forkjemperne, som forskningsrådets direktør John Arne Røttingen, og universitetsbibliotekar Per Pippin Aspaas, kritiserer denne forståelsen og vil minske tidsskriftshierarkiets viktighet i norsk forskning. Deres kritikk er imidlertid av såpass lav kvalitet at den ikke bør legge premisser for norsk forskningspolitikk.

La oss starte med bevisbyrden. Sosiale systemer er kompliserte ting. Noen systemer har solide begrunnelser, selv om man kan vise til et utvalg eksempler hvor de ikke fungerer. Hvis man vil rive ned en tung institusjon som aktørene selv støtter opp om, som f. eks markedsøkonomien eller parlamentarismen, må man vise at disse institusjonene systematisk gir mer negative konsekvenser enn alternativene. Tidsskriftshierarkiet er nettopp en slikt tung sosial institusjon: Det regjerer på de aller fleste fagfelt, og er en helt sentral komponent i moderne vitenskap, som utøverne selv støtter opp om. All den tid moderne vitenskap er et av de mest vellykkede sosiale systemene i verden hviler det dermed en meget tung bevisbyrde på den som vil gjøre tidsskriftshierarkiet verdiløst. Røttingen og Aspaas’ kritikk av tidsskriftshierarkiet viser at de ikke innser hva slags type evidens som må legges til grunn for å tukle med en slik sentral samfunnsinstitusjon. Det er en dyd å søke et solid beslutningsgrunnlag før man setter i gang revolusjoner. Derfor er det synd å se hvor tynn argumentasjonen som anføres av Røttingen og Plan-S tilhengerne faktisk er.

Nesten ingen forskere vil være uenig i at konkurransen er større i mer prestisjetunge tidsskrift, eller at mer konkurranse gir bedre forskning. Min skissering av premissene som gir denne konklusjonen kaller Aspaas en «tvilsom øvelse i logikk», uten å påpeke hva han mener er tvilsomt ved det. Dette sier mer om Aspaas enn om argumentets gyldighet. Røttingen anerkjenner imidlertid at mer prestisjetunge tidsskrift vil ha høyere «bidragseffekt» pga. bedre fagfeller (mens han ser bort fra andre aspekter, som antall innsendte bidrag og høyere terskel for antagelse).

Røttingen og Aspaas viser så til noen nøye utvalgte studier som de mener avdekker alvorlige svakheter ved tidsskriftshierarkiet. Denne empirien er problematisk av flere grunner. For det første viser ikke empirien som Røttingen og Aspaas anfører at vi bør bort fra tidsskriftshierarkiet. Som Røttingen korrekt påpeker er det noe forskning som viser en svakt positiv korrelasjon mellom f. eks Impact Factor og siteringer. Dette poenget er pussig av flere grunner, som tidligere påpekt i Khrono, men la oss ta et aspekt: At korrelasjonen er svak er ikke overraskende: De fleste artikler siteres knapt i det hele tatt, noe som gir stor variasjon rundt snittet. Imidlertid er det misforstått å vise til svake korrelasjoner på artikkelnivå, når det er tidsskriftshierarkiets makroeffekter som er diskusjonens kjerne. Hvis vi tar høyde for den enorme floraen av tidsskrift, disipliner og innsendte arbeider vil selv små korrelasjoner aggregere seg opp til betydelige samfunnseffekter over tid. En svak sammenheng per artikkel, når det publiseres tusenvis av artikler, har enorm betydning for vitenskapen som helhet. Røttingen ser også her bort fra eksternalitetsaspektet: Hvis alle konkurrerer for å komme inn i de beste tidsskriftene vil dette øke kvaliteten på arbeider i andre tidsskrift (som ofte har blitt refusert i prestisjetidsskriftene). Å gå bort fra tidsskriftshierarkiet vil svekke konkurransen og gi svakere insitamenter for kvalitet.

Aspaas viser til en oversiktsartikkel fra Brems, som diskuterer noen eksempler på at impact factor ikke er negativt korrelert med «feil» i forskningen, som små statistiske utvalg osv. Imidlertid er dette en lite systematisk gjennomgang som ikke har klare kriterier for hvilke felt den studerer, den fokuserer på noen få og ganske usentrale aspekter av kvalitet, og diskuterer ikke det store problemet med publikasjonsskjevhet i forskning på sammenhengen mellom tidsskriftsrangering og kvalitet (sterke positive sammenhenger er såpass lite overraskende – gitt den ukontroversielle konkurranse- og seleksjonsmodellen - at de sannsynligvis har mye høyere terskel for å bli publisert). I tillegg tar den ikke høyde for utelatte variable som f. eks forskningsbidragets nyvinning, og andre aspekter ved teknisk utførelse. I sum gir denne forskningen, som Røttingen og Aspaas viser til, noen funn som reiser interessante problemstillinger rundt prestisjetidsskrifters bidragseffekt, som det bør forskes videre på, men de gir ikke et grunnlag for å tømme tidsskriftshierarkiet for verdi. Det blir som å ville innføre planøkonomi fordi en svak forskningsartikkel viser til noen nøye utvalgte eksempler på at markedspriser ikke alltid korrelerer med kvalitet. Revolusjoner må bygges på noe mer solid. Røttingen og Aspaas’ argumenter passerer ikke denne testen.

Røttingen gjør et poeng ut av at den harde konkurransen tidsskriftshierarkiet representerer forsterker problemer som publikasjonsskjevhet, replikasjonsfeil, juks osv., og at dette i tur svekker befolkningens tillit til forskning. Dette er et underlig argument. Hard konkurranse gir alltid sterke perverse insentiver, i alt fra idrett til markedsøkonomien, men det betyr jo ikke at vi bør minske konkurransen. Konkurransens effekt på juks og fanteri må alltid veies mot den positive gevinsten konkurransen gir på kvalitet. For å ta et eksempel: Jon Sudbø, kreftlegen som jukset seg inn i topptidsskrift, var drevet av jag etter prestisje. Men hvor mange kreftmedisiner gir prestisjejaget oss for hver Jon Sudbø? Bør vi ha mindre prestisjejag i den globale kreftforskningen fordi konkurranse kan gi insentiver til juks? Dét er det relevante spørsmålet, og fremtidens kreftpasienter bør håpe at Røttingen ikke får legge premisser for svaret. Det er ikke den harde konkurransen i tidsskriftene som er problemet, men at vi ikke designer gode nok systemer for å forhindre juks og feil under betingelsen av en slik (i sum positiv) konkurranse. Å ville konkurransen til livs er en kur som er verre enn sykdommen.

I samfunnsfagene er det nettopp topptidsskriftene som går i front for å sikre repliserbarhet og mindre rom for juks.. I statsvitenskap er det en sterk korrelasjon mellom hvilke tidsskrifter som krever replikasjonsdata og tidsskriftenes prestisje, og lignende sammenhenger finner man i økonomifaget. Artikler i topptidsskriftet (statsvitenskap) American Journal of Political Science, må gjennom en lang replikasjonsprosess før de kan publiseres. Resultatene må kunne repliseres «fra scratch» av uavhengige eksperter, og prosessen tar ofte lang tid. Slike standarder finner vi ikke i de mellomgode og mindre gode tidsskriftene. Røttingen mener at replikasjonsproblemer er et ankepunkt mot tidsskriftshierarkiet, men vil han endre mening hvis det viser seg at det er en sammenheng mellom tidsskriftsprestisje og replikasjonsstandarder?

Røttingen er opptatt av befolkningens tillit til forskningen. Det er en bekymring det er lett å dele. Men befolkningens tillit preges ikke bare av avsløringer av «feil» og juks i forskning. Den preges også av allmenne oppfatninger av hva som er god og dårlig forskning. «Alle vet» at det publiseres altfor mye forskning som er direkte dårlig, selv om den ikke inneholder juks eller tekniske feil, og oppfatninger som at det finnes mye «tulleforskning» på flere felt, særlig i samfunnsfagene, er utbredt (se f.eks den mye omtalte «Grievance Studies Affæren»). Dette betyr at lav tillit blant annet kan motvirkes gjennom å opprettholde, styrke og fremheve et tidsskriftshierarki som gir tydeligere skiller mellom god og dårlig forskning. Siden befolkningen selv ikke kan DORA-evaluere all forskning trenger den noen poster å navigere etter. På tross av dette vil Røttingen og forskningsrådet nå sende signalet om at tidsskrift er irrelevant. Dette vil svekke befolkningens tillit til forskning, ikke styrke den.

Et av de rareste poengene som fremføres av kritikerne av tidsskriftshierarkiet er at vi ikke har noen form for systematisk bevis for at forskere generelt vil evaluere forskningen i de mest prestisjetunge tidsskriftene som bedre enn forskning som utgis andre steder. Aspaas etterspør f. eks et slags eksperiment hvor forskere kvalitetsvurderer publiseringer fra ulike tidsskrifter (uten å vite hva slags tidsskrift det er publisert i). Dette er et snodig poeng, all den tid en slik prosess er forbausende lik den fagfelleevalueringen som allerede skjer i tidsskriftene. Siden refusjonsraten er høyere i de beste tidsskriftene, og det er en tett sammenheng mellom fagfellevurderinger og aksept for et manuskript (i de beste tidsskriftene må gjerne 4-5 fagfeller si «ja» før noe publiseres), må det nødvendigvis være slik at fagfeller i snitt vurderer det som til slutt kommer gjennom i de beste tidsskriftene som bedre (enn i andre tidsskrift). Helt trivielt sanne betingelser gjør altså det eksperimentet Aspaas etterspør til en hverdagslig realitet i forskningens verden, og det viser at han ikke har forstått hva det er han etterspør.

Her kan Aspaas enten innvende at det i dette tilfellet ikke er de samme fagfellene som vurderer i gode og dårlige tidsskrift, men det bør i så fall telle til de beste tidsskriftenes fordel, siden de har fagfeller med høyere ekspertise. Eller så kan han mene at fagfeller ikke tar hensyn til tidsskrift når de aksepterer eller forkaster et manuskript (ved å sette en høyere kvalitetsterskel når de evaluerer for mer prestisjetunge tidsskrift), men det vil enhver redaktør kunne fortelle ham at ikke er tilfelle. I sin etterspørsel av en slags fagfellevurdering av om forskning publisert i mer prestisjetunge tidsskrift er bedre, begår Aspaas litt av den samme tankefeilen som Røttingen og andre Plan-S forkjempere har gjort til sin paradegren: Man støtter seg på forskeres evaluering i det ene øyeblikket (f. eks ved bruk DORA prinsippene), for i det neste å avvise at tidsskriftshierarkiet er kvalitetshevende. Motsigelsen er stor: Tidsskriftshierarkiet er nemlig ikke noe mer er enn aggregatet av forskeres egenvurderinger av hvilken forskning som er bra. At dette ennå ikke har sunket inn hos Plan-S forkjemperne gjør det vanskelig å føre debatten videre.

Hva må til for at vi skal godta Røttingen og Aspaas’ syn på tidsskriftshierarkiet som «rådyr logofetisjisme» som ikke bør vektlegges i den norske forskningsøkonomien? Vel, vi må ignorere den sterke logikken i konkurranse- og seleksjonsmodellen, samtidig som vi håndplukker, og overtolker funn fra et knippe svake empiriske studier. Videre må vi ignorere det som Røttingen og Aspaas selv mener er den mest robuste kilden til informasjon om forskningskvalitet, nemlig systematiske mønstre i forskernes egne kvalitative vurderinger. Det er lett å se at denne posisjonen er svak.

Når vi samtidig tar inn over oss at det som står på spill er å påføre skade på en sentral institusjon i et av våre mest vellykkede samfunnsprosjekter – moderne forskning - bør vi konkludere med følgende: Bevisbyrden ligger fortsatt på kritikerne av tidsskrifthierarkiet, og de klarer ikke å bære den. Deres sak er såpass svak at den ikke bør få legge premissene for norsk forskningspolitikk.

I lys av dette er det verdt å huske på at Røttingens (og Aspaas) syn på tidsskrifthierarkiet som problematisk er relativt marginalt innenfor norsk forskning. Røttingen er etter alt å dømme en kompetent fyr med mange gode egenskaper, og noen av disse har gitt han jobben som direktør i forskningsrådet. Det er imidlertid grunn til å anta at hans marginale syn på tidsskriftene ikke er en av disse egenskapene: Han er ikke ansatt for å drive aktivisme mot tidsskrifthierarkiet. Mens det norske forskningsbyråkratiet har utviklet seg i en radikal retning, ledet av et knippe mektige personer med sterke syn, har norske forskere sovet i timen. Det er på tide at forskerne nå våkner, og spør seg: Er det virkelig dette vi vil?