Dora — Til glede eller besvær?

Kjell-Erik Lommerud har i Khrono et godt innlegg om DORA. Han uttrykker en bekymring for hva man kan miste hvis man tar konsekvensene av DORA og ikke lenger kan bruke Journal Impact Factor (JIF) som et av flere kriterier når man vurderer forskningskvalitet. Han er spent på hvordan implementeringen av DORA ved UiT Norges arktiske universitet vil påvirke både bedømmelseskomiteenes arbeid og resultatet av bedømmelsene.

DORA er etter min oppfatning en beskrivelse av beste praksis for forskningsevaluering. Jeg tror de fleste av oss ønsker å bli evaluert ved at man vurderer alle våre arbeider og finner at de har, forhåpentligvis, like høy kvalitet som vi selv mener at de har.

Jeg har tillit til at de fleste bedømmelseskomiteer ved UiT følger en slik beste praksis. Innføringen av DORA vil dermed kun ha begrenset betydning i praksis. Men noen komiteer som kanskje ville valgt enklere måter å vurdere kvalitet på vil kanskje oppleve at arbeidsmengden blir noe høyere. Selv om man følger DORA, så vil man nok i de fleste tilfeller finne at arbeider publisert i prestisjetunge tidsskrift er av høy kvalitet, men man vil også finne mange meget gode arbeider publisert i andre tidsskrift. Det tror jeg våre søkere, og vi som institusjon, tjener på i lengden.

• LES OGSÅ: Forskningsrådet signerer DORA-erklæringen

Jeg redegjorde på siste Munin-konferanse for hvordan UiT har arbeidet med DORA i vårt reglement og hvordan vi vil følge dette opp (første innlegg i første sesjon). Jeg skal her peke på en del momenter som jeg personlig mener er viktige begrunnelser for å slutte seg til DORA prinsippene.

Et endret landskap for kommunikasjon av vitenskap: Fagfelt er ulike. I enkelte fag er det ikke gitt at artikler over tid vil være den eneste og beste form for formidling av ny kunnskap.

La meg først bruke mitt eget fagfelt som et eksempel. Teoretisk kjemi går blant annet ut på å utvikle nye teorier og modeller for elektronstruktur i molekyler og å gjøre disse teoriene tilgjengelig for andre forskere gjennom dataprogram som kan brukes til å forklare eller forutsi kjemiske egenskaper eller reaksjoner. Teorien har en egenverdi som kan dokumenteres gjennom en artikkel, mens dataprogrammet kan ha en langt større praktisk verdi for andre forskere. Kvaliteten på dataprogrammet har mye å si, og her inngår mye arbeid som ikke uten videre kan dokumenteres gjennom en artikkel. Slikt arbeid prioriteres ikke når det kun er artikler som man måles på. Dataprogrammet blir derfor kanskje kun brukt til en artikkel, eller av kun en forskningsgruppe, i stedet for at det investeres tid å sørge for at andre forskere kan bruke programmet som et grunnlag for videre forskning.

Forskningsdata er et annet eksempel. Gode datasett er viktig for reproduserbarhet av forskning, men kan også ha en verdi ut over den spesifikke hypotesen som lå til grunn for datainnsamlingen. Et datasett, eller en samling av datasett, vil kunne danne grunnlaget for ny innsikt. Hvis datasettet og dets kvalitet og bidrag til ny innsikt ikke vurderes ved bedømmelser, så vil det oppmuntre til å holde data for seg selv og til ikke å investere tid i å gjøre dataene FAIR (Findable, Accessible, Interoperable, Reusable). Det vil kunne føre til unødvendig duplisering av datainnsamlinger og potensielt tvilsom praksis for medforfatterskap. Dette er verken samfunnet eller vi som forskere tjent med.

For at forskere, og spesielt unge forskere siden det er de som gjør mye av dette arbeidet, skal kunne investere tid på å lage program eller datasett som har en merverdi ut over en enkelt artikkel og dermed være en plattform for ny kunnskap, så må dette arbeidet verdsettes i bedømmelser. Dette er et viktig element i DORA-prinsippene.

Tydelighet på hvordan søkere vil bli evaluert: De fleste bedømmelseskomiteer blir i dag bedt om å vurdere søkernes vitenskapelige kvalitet, og som Lommerud påpeker defineres ofte kvalitet ikke mer presist enn dette. Men mange fagfelt har sin egen standard eller kultur for vurdering av hva som er god kvalitet (betydning av JIF, betydningen av forfatterrekkefølge o.a.), men det er ikke uttalt hvordan bedømmelseskomiteen evt. velger å bruke slike kulturelle særtrekk i evalueringen. DORA gir en liten indikasjon på hvordan en søker faktisk vil bli vurdert av komiteen. Neste skritt er å bli tydeligere på hva som skal vektlegges i den enkelte evaluering, noe også Lommerud etterlyser. Det pågår arbeid langs disse linjer i European University Association (EUA).

Redaktørers utvelgelse av artikler: De mest prestisjetunge tidsskriftene får et stort antall artikler til vurdering. Det store flertall av disse artiklene når aldri en fagekspert. Redaktører vil i mange tilfeller vurdere om en artikkel skal sendes til fageksperter basert på sammendraget av artikkelen eller et kort motivasjonsbrev.

Ikke bare bidrar denne praksis til et behov for spektakulære resultater, men det er også klart at mange meget gode arbeider vil ikke bli vurdert av fageksperter fordi redaktøren vurderer at de ikke vil ha høy nok nyhetsinteresse på kort sikt (JIF måler siteringer de to første år etter publisering). Et for stort fokus på enkelte tidsskrift og hva som kreves for å publisere i disse, vil dermed kunne føre til en «mainstreaming» av forskningsfelt.

Vitenskapelig redelighet: Hvis det å publisere i de rette tidsskriftene oppfattes som nødvendig for en vitenskapelig karriere, så må forskernes etiske ryggrad være meget sterk. Selv om det har blitt stilt spørsmål ved hans begrunnelse (Erik Tunstad: «Juks: Hvordan forskere fusker og hvorfor det ikke er så farlig», Humanistisk forlag (2031)), så sa Jon Sudbø i et intervju med VG Helg i 2009 at grunnen til at han fusket var at: «Som vitenskapsmann er det antall publikasjoner og kvaliteten på tidsskriftet man blir målt etter. Det gir posisjoner i det akademiske miljø. Jeg var en del av den kulturen, og det racet».

Selv om Sudbø-saken er spesiell ved at det var bevisst fabrikkering av store mengder data, så kan det skapes et usunt press hvis «prestisjetidsskrift» er et veldig uttalt mål i seg selv. Det kan bli fristende å se bort fra datapunktene som ikke helt passer inn i hypotesen. Selv om vitenskapen vil bidra til at disse resultatene over tid vil bli korrigert, så bør vi være forsiktig med å skape sterke insentiver som gjør at forskere vil kunne føle et press for å tøye de forskningsetiske grensene.

Open Access: Jeg er enig med Lommerud i at DORA ikke har noe med Open Access å gjøre. Det er generelt stor tilslutning både forskningspolitisk og i mange forskningsmiljø til at offentlig finansiert forskning bør gjøres gratis tilgjengelig for offentligheten. Enn så lenge har de store forlagene ikke kommet norske universiteter i møte på ønsket om en slik modell for formidling av norsk forskning. Skal vi da lykkes med en omlegging til Open Access, så er DORA våre forskeres garanti for at de vil bli vurdert på kvaliteten av deres vitenskapelige arbeid og ikke på bakgrunn av tidsskriftet de har publisert i.

Corina Logan fra Max Planck Institute for Evolutionary Anthropology sitt foredrag «Bullied into Bad Science» (første foredrag i andre sesjon) fra siste Munin-konferanse kan anbefales for å få et innblikk i enkelte unge forskeres syn på hvordan man kan sikre god vitenskapelig praksis, herunder publisering, i sitt daglige arbeid.

Er det ingen utfordringer med DORA? Som også Lommerud påpeker, så vil et system som prøver å vurdere kvaliteten av den enkelte forsker og ikke bare at man har publisert i de rette kanaler være sårbar for bedømmelseskomiteers preferanser, fordommer og kunnskap. Samtidig må man være åpen for at også redaktører (og fageksperter) i tidsskrift har preferanser og fordommer, og at dette vil prege hvem som får publisere sine arbeider i disse tidsskriftene. Å sørge for at utlysninger ikke gir grunnlag for nepotisme og internrekruttering, og at fagkomiteene faktisk gjør en grundig, helhetlig vurdering av alle søkere, vil forbli en viktig oppgave i alle bedømmelser.

Selv om DORA kanskje gjør denne jobben noe mer omfattende, så tror jeg at DORA bidrar til en bedre måte å vurdere forskningskvalitet på. Jeg tror DORA også vil bidra til en mer åpen forskningskultur, hvor forskere lettere kan bygge på hverandres grunnlagsmateriale og på den måten i fellesskap bidra til å flytte forskningsfronten fremover. Det er vår viktigste oppgave som forskere.