Og bakom synger DORA: Plan S og synet på tidsskriftene

Veilederen for implementering av Plan S er ute. I innledningen til denne veilederen gis det uforbeholden støtte til den såkalte DORA-erklæringen (Declaration on Research Assesment) – og det sies at de forskningsrådene som står bak Plan S skal undertegne DORA. Dette kan framstå som underlig, siden DORA ikke handler om Open Access. Hvordan skal vi lese DORA-erklæringen – og hva kan den sterke støtten til DORA fortelle oss om Plan S?

DORA er en erklæring om at forskning skal vurderes etter sitt reelle innhold og ikke bedømmes ut fra hvilken publiseringskanal den har kommet ut i. På et litt omtrentlig plan kan de fleste være enige om at dette høres bra ut. Vurderer man enkeltforskere eller institutter eller forskningsprosjekter bør man ikke komme unna å lese selve forskningen i stedet for bare å telle opp hvor man er publisert.

På de beste universitetene i USA får man ikke tenure i mitt fag samfunnsøkonomi uten å ha publisert i de tidsskriftene som kalles «topp fem» — og i biomedisinske miljøer har Cell/Nature/Science samme status. Dette gir veldig makt til noen få redaksjoner og det kan selvfølgelig tenkes at veldig god forskning kommer i tidsskriftene rangert rett under disse toppene. DORA-erklæringen inneholder også en kritikk av et spesielt bibliometrisk mål, Journal Impact Factor – denne kritikken kan jeg lett være enig i, det fins bedre mål.

Men DORA-erklæringen er mer kategorisk som så. Den sier rett og slett at signalet ved at man har kommet inn i et godt tidsskrift ikke skal brukes i det hele tatt. Dette er et ganske ekstremt standpunkt. Det at man blir akseptert i et topptidsskrift eller et annet godt tidsskrift er ikke et perfekt signal på kvalitet, men det er ikke et tomt signal heller.

I akademia florerer evalueringene, både av folk og institusjoner. Man blir ikke allviter av å bli utnevnt til en bedømmelseskomite, og det er godt å kunne støtte seg til at en artikkel også er sjekket av internasjonale eksperter, for eksempel når det gjelder matematisk og statistisk metode – og de beste tidsskriftene har den tøffeste kvalitetskontrollen. Dessuten er det et stort behov for grovsortering for eksempel ved stillingsbesettelser. Kommer det inn førti søknader til en stillingsutlysning, kan man stå der med fire hundre innleverte arbeider. Mange av disse søkerne vil være fra utlandet og en del av disse igjen vil ha publisert i det som regnes som dårlige tidsskrifter. På en eller annen måte må det sirkles inn et finaleheat uten at arbeidsmengden blir uoverstigelig.

Hvis DORA leses bokstavelig, innebærer den en desavuering av det arbeidet som foregår i tidsskriftene – og hvis vurderingsarbeidet i akademia ikke kan støtte seg på vurderinger som alt er gjort, blir bedømmingene så arbeidskrevende at alt vil stoppe opp.

DORA er underskrevet av nær 800 institusjoner. En god del av underskriverne er tidsskrifter med titler som begynner på Revista, dette kan framstå som en kamp for at publisering på spansk er like bra som publisering i de viktigste internasjonale tidsskriftene. Svært få profilerte universiteter i vestlige land har undertegnet, men det er noen. Norge er i en spesiell stilling med ganske mange underskrivende institusjoner. Forskningsrådet har undertegnet, det samme har NTNU, NMBU, UiT, USN og OsloMet.

Det er vanskelig å vite hva alle disse underskriverne har ment med signaturen sin. Til syvende og sist dreier dette seg ikke om hvor bokstavelig en tekst skal leses, men hvilke handlinger en er villig til å gå inn på. Er for eksempel University of Oxford – som har skrevet under på erklæringen – når det kommer til stykket villig til å gi folk jobb uten at de har en CV som det virkelig skinner av, på grunnlag av at en evaluator har funnet ut at forskningen er veldig bra selv om den er dårlig publisert? Jeg tviler sterkt.

Universitet i Tromsø har nå erklært at de skal følge DORA ved ansettelser. Det blir svært interessant å følge med på hvordan dette blir i praksis, om for eksempel bedømmingsarbeid blir helt upraktisk arbeidskrevende eller om institusjonen foretar ansettelser som gjør at man blir utmeldt av internasjonale faglige felleskap.

Nå tilbake til utgangspunktet. Hvordan skal vi tolke det at Plan S veilederen så utvetydig støtter DORA? DORA handler ikke om Open Access, men om forskningsvurdering. Betyr dette at Plan S støtter et syn om at det å bli akseptert i et godt tidsskrift framfor et mindre godt tidsskrift er et tomt signal? Noe som bare dreier seg om prestisje men ikke kvalitet?

Direktør i Forskningsrådet, John Arne Røttingen, har nylig i Khrono tydeliggjort synet sitt på tidsskriftverdenen. Tittelen lover ikke godt. «Tidsskrifthierarkiet er en del av utfordringen.» Han er veldig fokusert på problemer i forskningen, som tilbakekallinger av publiserte artikler og manglende reproduserbarhet. Skal man først jukse, bør man jukse såpass at man kommer i de beste tidsskriftene, så det er ikke overraskende at det er der artikler trekkes tilbake. Og ingen tror vel at for eksempel psykologiske eksperimenter blir mer reproduserbare ved at de publiseres i Open Access-tidsskrifter med lave refusjonsrater? Han sier at det er relativ svak korrelasjon mellom impact factor og siteringer per artikkel, som er et litt snurrig argument, siden det siste ligger nær definisjonen på det første. Han sier Forskningsrådet støtter DORA og at nye vurderingsformer må utvikles, uten å presisere hva disse skal gå ut på.

Jeg er enig med Røttingen at vi kan stole på at forskersamfunnet vil skape og opprettholde gode tidsskrifter. Men poenget er at forskersamfunnet tross alt er ganske godt fornøyd med tidsskriftverdenen som den eksisterer i dag – og så lenge de beste universitetene i verden, som nesten alle ligger i USA, og som til dels også eier de beste tidsskriftene, er tålelig fornøyd med dagens situasjon, så er det ikke lett å starte alternative tidsskrifter fra utkanten av verden.

Det fine med dagens tidsskrifter er at de stort sett er kontrollert av internasjonale og brede faglige nettverk – med sans for sannhet, kvalitet og etikk, men ikke styrt av politisk korrekthet og byråkratsynspunkter. Tidsskriftene gir forskerne frihet: Er du godt publisert, er det vanskelig å si at forskningen din er lite verdt. Hvis alle tidsskrifter er mer eller mindre like bra eller vi alle skal publisere i store Open Access-arkiver, blir makten totalt forskjøvet. Hvis OsloMet mener de forsker like bra som UiO, så kan ingen si imot det. Hvis Forskningsrådet mener satsingene deres er vellykket, så er de det. Hvis en lokal høvding har lyst å ansette kjæledeggen sin, så har du ingenting å stå imot med. Tidsskriftene kan være brutale og dagens situasjon har problematiske sider, men de skyver makten vekk fra det lokale mot det internasjonale, vekk fra satsinger og byråkrater mot den faglige konsensusen i faget selv. Derfor har vi noe å tape.