Et forsvar for tidsskriftshierarkiet

Det har etterhvert blitt klart i debatten om Plan-S at flere av de ledende Plan-S tilhengerne ikke setter tilstrekkelig pris på tidsskritshierarkiets rolle i forskningssystemet. Forskningsrådets direktør John Arne Røttingen, for eksempel, har ved flere anledninger hevdet at tidsskriftenes prestisje ikke er viktig, og at det ikke er noen sterk sammenheng mellom et tidsskrifts prestisje og kvalitet (se f. eks her).

En ekstrem variant av dette synet finner vi hos universitetsbibliotekar Per Pippin Aspaas som i Khrono avfeier tidsskriftshierarkiet som «dyr, eksklusiv logofetisjisme». Dette synet er forhåpentligvis marginalt i de ledende forskningsmiljøene i Norge (det deles i alle fall ikke av Nobelprisvinner Edvard Moser, eller av de 27 senterlederne som har skrevet under et forsvar for tidsskriftshierarkiet i Aftenposten). Samtidig er det på tide at forskningsmiljøene gir dette argumentet den motstanden det fortjener. Det er meget gode grunner til å tro at tidsskriftshierarkiet bidrar til bedre forskning, og at det i en verden med et økende mylder av mer eller mindre gode (samt mange useriøse) tidsskrifter er behov for et kvalitetshierarki.

Konkurranse og seleksjon

For det første er det sterke a priori grunner til å forvente at et tidsskriftshierarki vil gi bedre forskning. Først må vi anta noen ukontroversielle premisser: i) Vi kan rangere forskere etter ekspertise, ii) vi kan rangere forskningsarbeider etter kvalitet, iii) de fremste ekspertene vil i snitt helst være fagreferenter i de mest prestisjetunge tidsskriftene, iv) de fremste forskerne på et felt vil i snitt helst sende arbeidene sine til de mest prestisjetunge tidsskriftene, og v) de fremste tidsskriftene får flere innsendte arbeider i snitt. Disse svært rimelige antagelsene gir samlet følgende to forventninger:

1. Ex ante kvalitet: Kvaliteten på arbeidene som blir vurdert og ekspertisen til fagfellene som vurderer vil i snitt være høyere i de beste tidsskriftene.

2. Ex post kvalitet: Fagfellevurderingsprosesser som kobler arbeider som holder høyere kvalitet med fagfeller som er de fremste ekspertene vil i snitt øke forskningskvaliteten på arbeidende som blir publisert.

En viktig presisering til denne enkle modellen er at den gir forventninger om en probabilistisk sammenheng mellom tidsskriftsprestisje og kvalitet, som altså ikke kan motbevises ved å vise til anekdoter og eksempler på at det ikke er en nødvendig sammenheng. I mye av Plan-S debatten har det dukket opp slike anekdoter og eksempler fra kritikerne av tidsskriftshierarkiet, men de er lite relevante som kritikk av konkurranse- og seleksjonsmodellen.

Skjevheter i prestisjetidsskriftene

Forventningene om ex ante og ex post kvalitet deles ikke av kritikerne av tidsskriftshierarkiet. De vil enten påpeke svakheter ved premissene, eller legge andre premisser til grunn. For eksempel har det blitt hevdet at det som driver publikasjoner i de mest prestisjetunge tidsskriftene er hvor «sensasjonell» forskning er, og ikke hvor høy kvalitet den holder, eller at det er andre mulige skjevheter, som hvor forfatterne kommer fra, kjønn, etnisitet osv. Dette argumentet er lite vellykket: For det første er det slik at slike skjevheter kan eksistere samtidig med mekanismer som genererer høyere kvalitet; Selv om det finnes skjevheter i prestisjetidsskriftene betyr det ikke at, alt annet likt, disse tidsskriftene ikke er kvalitetsfremmende.

Det man må påvise for å ville bort fra tidsskriftshierarkiet er at slike skjevhetsmekanismer fullstendig utveier de kvalitetsfremmende mekanismene. Man må argumentere for at det ikke er en sterk probabilistisk sammenheng mellom prestisje og kvalitet. For det andre er argumentet en anklage mot vitenskapen generelt: Hvis slike skjevheter preger de beste tidsskriftene i så stor grad at vi like godt kan forkaste tidsskriftshierarkiet, er det ingen grunn til å tro at de ikke forgifter alle andre vitenskapelige institusjoner på samme måte. Slike skjevheter vil gjelde i ansettelseskomiteer, i tildeling av midler, og alle andre prosesser som baserer seg på fagfelleevaluering. Man kan ikke få i pose og sekk, hvor man stoler på forskerfelleskapets skjønn i det ene øyeblikket, og mener at tidsskriftshierarkiet ikke er kvalitetshevende i det andre.

Dette poenget kan gjøres enda mer generelt. For at forskning skal fungere må vi stole på at fagmiljøene selv kan evaluere hva som er god og dårlig forskning. Vitenskap gir sjeldent en fiks ferdig fasit, og teoretiske fremskritt måles ofte gjennom etableringen av konsensus i forskerfellesskapene. Poenget med tidsskriftshierarkiet er at det fungerer som en mekanisme for å frembringe en slik konsensus: Ved at forskere stemmer med føttene ved å trekkes mot de mest prestisjetunge tidsskriftene, etableres disse kanalene som aggregater av fagmiljøenes meninger om forskningskvalitet. Man kan ikke mene at fagmiljøene selv vet best, og samtidig mene at tidsskriftshierarkiet ikke er kvalitetshevende, uten selvmotsigelse: Tidsskriftshierarkiet er måten fagmiljøenes meninger aggregeres på (gjennom fagreferenter og forfattere). Å mene at dette er «logofetisjisme» viser liten innsikt i hvordan vitenskapen fungerer.

God og dårlig fagfellevurdering

En dyp misforståelse som skinner gjennom blant plan-s tilhengere som Røttingen og Aspaas er ideen om at fagfellevurdering er en slags binær kvalitetssjekk. I et innlegg i Aftenposten fremstiller Røttingen kvaliteten på fagfellevurdering som en todelt variabel: Enten er den «solid», eller ikke. Både åpne og lukkede kanaler kan ha «solid» fagfellevurdering i følge Røttingen. Dette synet kan kanskje stamme fra Røttingens fagbakgrunn i medisin, hvor det finnes en rekke standardkrav til hvordan f. eks eksperimenter skal gjøres. Hvor stort utvalg trenger man for å gjøre sterke slutninger?, er kontrollgruppen korrekt spesifisert?, osv. I en slik kontekst gir det muligens mening å snakke om fagfellevurdering som enten «solid» eller ikke, og således legge liten vekt på forskjellen mellom tidsskrift så lenge de leverer «solid» fagfellevurdering som krysser av alle boksene for «korrekt utført» forskning.

Problemet er at det, i de aller fleste fagfelt, er grader av kvalitet: Hvor viktig er denne artikkelen for resten av feltet?, hvor nyskapende er teorien?, hva kan være potensielle motargumenter til hovedargumentet?, hva er forholdet mellom metodebruk og påstander i artikkelen?, osv. osv. Svarene på slike spørsmål kan være mer eller mindre gode eller dårlige, og totalvurderingen av en artikkels kvalitet er et aggregat av slike vurderinger (og antallet vurderinger og fagfeller øker ofte med tidsskriftenes prestisje). Slik blir skillet mellom «skikkelig kvalitetssikret» og annen forskning særdeles lite presist. I de fleste felt er kvalitet en kontinuerlig variabel, og tidsskriftshierarkiet er en mekanisme for å forsøke å fange denne.

Stol på miljøene!

Heldigvis virker det som om skepsisen til tidsskriftshierarkiet er en relativt marginal posisjon i norsk toppforskning. Forsvar for viktigheten av å publisere i de mest prestisjetunge internasjonale tidsskriftene har kommet fra f.eks. nobelprisvinner Edvard Moser, de 27 lederne for sentere for fremragende forskning i et innlegg i Aftenposten, og ligger implisitt i underskriftskampanjen satt i gang av PRIO (skrevet under av over 1000 personer, den store majoriteten er forskere ved sentrale norske forskningsinstitusjoner).

I lys av dette kan man spørre seg; hva er det Røttingen og Plan-S tilhengerne vet om tidsskriftshierarkiet som den norske forskningseliten ikke vet?. Hvor er de tunge metastudiene som viser at tidsskriftshierarkiet ikke har en systematisk effekt på kvaliteten (med skikkelige kontrollgrupper)? Hva er galt med den relativt ukontroversielle konkurranse- og seleksjonsmodellen (skissert over) som gir sterke a priori grunner til å tro at tidsskriftshierarkiet gir kvalitetsgevinster? Her må Røttingen og Plan-S tilhengerne komme på banen med tung dokumentasjon. I fraværet av dette bør vi stole på forskningsmiljøenes egenvurdering av tidsskriftshierarkiets verdi. For at vitenskapen skal fungere må vi tross alt stole på forskerne selv.

Les også: Alle artikler og innlegg i Khrono om Plan S