DORA-erklæringen og vår vurdering av forskningskvalitet

Forskningsrådet har nylig sluttet seg til DORA-erklæringen, som hevder at «the scientific content of a paper is much more important than publication metrics or the identity of the journal in which it was published». Dette høres rimelig ut, men reiser endel viktige spørsmål.

Hva innebærer det at forskning holder høy kvalitet? I noen miljøer er det en uheldig tendens til å identifisere forskningskvalitet med ulike lettvinte kvantitative mål, som antall publikasjoner i tidsskrifter med høy «impact factor» eller antall siteringer. Dette er uheldig. Et banebrytende arbeid utgitt i et middelmådig tidsskrift er mer verdifullt enn et kort bidrag til en pågående debatt som likevel blir antatt i et topptidsskrift. En artikkel som siteres ofte på grunn av sine graverende feil er ikke dermed mer verdt enn et solid bidrag til et smalere forskningsområde.

Problemet med den nevnte tendensen er at man forveksler kvalitet med tegn på kvalitet. Å bli antatt i et topptidsskrift eller få mange siteringer er ofte et tegn på at forskningen holder høy kvalitet. Men dette tegnet er ufullstendig og feilbarlig, og det må ikke forveksles med selve kvaliteten. Vi er alle kjent med forskjellen på symptomer og en sykdom, eller på et målesignal og den fysiske størrelsen som måles. Slapphet, feber og muskelsmerter er symptomer på influensa. Men ingen ville finne på å identifisere influensa med disse symptomene. Symptomene er ufullstendige og feilbarlige. Man kan ha symptomene uten å ha sykdommen, eller ha sykdommen uten symptomene. Likedan må vi skille klart mellom forskningskvalitet og symptomer, eller tegn, på slik kvalitet.

Hvordan kan vi best vurdere forskningskvalitet? Hvordan finner vi for eksempel den mest verdige søkeren til en ledig vitenskapelig stilling eller til høyt etterspurte forskningsmidler? Siden de tradisjonelle tegnene på kvalitet, som antall publikasjoner i topptidsskrift og antall siteringer, er ufullstendige og feilbarlige, kan ikke avgjørelsen tas utelukkende på grunnlag av slike tegn. Det er helt nødvendig at ansettelseskomiteer også vurderer søkernes innsendte arbeider og deres undervisningsferdigheter, og at forskningsrådenes fagpaneler vurderer søkernes prosjektbeskrivelser.

Hva gjør vi så med de tradisjonelle tegnene på kvalitet? Hvorfor ikke forholde oss direkte til forskningens kvalitet og fullstendig se bort ifra de tradisjonelle tegnene? Forskningsrådet og andre norske DORA-sympatisører ser ut til å mene at nettopp dette er veien å gå, godt anført av Forskningsrådets direktør, John-Arne Røttingen, som hevder at «tidsskrifthierarkiet er en del av utfordringen». Forskningsrådet opplyser også på sine nettsider at de nå skal «gi instrukser til fagekspertene om ikke å legge vekt på publikasjonskanalenes status og om ikke å bruke Journal Impact Factors i vurderingene». Videre skriver UiT Norges arktiske universitet at «UiT skal ved vurderinger av tilsetting eller opprykk til stillinger, ved opptak og bedømmelse av doktorgrad og ved tildeling av forskningsmidler legge vekt på forskningsarbeidenes kvalitet, relevans og betydning og ikke på hvor arbeidene er publisert». Vi skal altså gå fra det ene ytterpunktet til det andre. Vi skal fullstendig se bort ifra tradisjonelle tegn på kvalitet og i stedet gjøre oss opp vår egen selvstendige vurdering av forskningskvaliteten.

En slik holdning virker grunnleggende misforstått. Selv om de tradisjonelle tegnene på kvalitet er ufullstendige og feilbarlige, er det (som Kjell-Erik Lommerud tidligere har påpekt) fullstendig galt å benekte at disse tegnene har noen som helst verdi.

I en ideell verden ville en ansettelseskomite ved et universitet eller et ekspertpanel hos Forskningsrådet bestå av verdens fremste eksperter på det aktuelle feltet, med ubegrenset tid til rådighet. Da kunne vi ganske riktig legge til side alle tradisjonelle tegn på kvalitet og foreta en direkte og selvstendig vurdering av kvaliteten. Men slik er ikke den virkelige verden! Tenk deg at du sitter i en ansettelseskomite som skal vurdere hundrevis av søkere til en vitenskapelig stilling. Skal du fullstendig se bort ifra alle tradisjonelle tegn på forskningskvalitet og i stedet lese kanskje tusen innsendte arbeider for å gjøre deg opp din egen mening? Hvem ville i så fall sitte i slike komiteer? Men enda viktigere: gitt våre faktiske komiteer og den tiden de har tilgjengelig vil en bedre vurdering finne sted ved å tillate bruk av tradisjonelle tegn på kvalitet, for eksempel til å sile ut de beste søkerne, som så får sine vitenskapelige arbeider grundig vurdert, noe som i dag er vanlig praksis.

Forskersamfunnet er helt avhengig av en arbeidsdeling som har vokst frem over lang tid. Det finnes en rekke mekanismer som vurderer forskningskvalitet. De høyst rangerte tidsskriftene benytter seg av verdens fremste eksperter som redaktører og fagfeller. Søkere til ledende universiteter blir grundig vurdert av ledende forskere på sine felt. Slike mekanismer produserer tegn på forskningskvalitet. Vi kan selvfølgelig ikke stole blidt på disse tegnene: feil og fordommer finnes. Men fullstendig å se bort ifra disse tegnene, som Forskningsrådet og UiT nå synes å kreve, er minst like risikabelt. Våre vurderinger vil trolig bli dårligere, ikke bedre, dersom vi systematisk ignorerer vurderinger som allerede har blitt gjort av verdens fremste eksperter.

Dersom Forskningsrådet faktisk skal følge sin ekstreme tolkning av DORA-erklæringen og fullstendig ignorere alle tradisjonelle tegn på kvalitet blir det spesielt alvorlig. Søkerens prosjektbeskrivelse skal selvfølgelig vurderes grundig og telle tungt. Men hvordan skal de vurdere søkerens vitenskapelige meritter uten å støtte seg til tradisjonelle tegn på kvalitet? Skal Forskningsrådets ekspertpaneler heretter selv lese og vurderes kvaliteten på søkernes publikasjoner? Dette vil neppe la seg gjøre. Og selv om man prøvde, ville deres vurderinger bli dårligere og mer vilkårlige enn de er nå, hvor man i noen grad benytter seg av arbeidsdelingen som finnes i forskersamfunnet.

Selv om DORA-erklæringen har rett i at kvalitet ikke må forveksles med tegn på kvalitet, ser vi nå en skummel tendens til å gå altfor langt i motsatt retning ved å kreve at våre vurderinger fullstendig setter til side alle tradisjonelle tegn på kvalitet. En slik holdning vitner om enten farlig naivitet eller slu opportunisme. Å stole blindt på egne vurderinger uten å lytte til eksisterende ekspertuttalelser er naivt—med mindre ens egen ekspertise overgår alle andres og en har tilstrekkelig med tid til oppgaven. Det er normalt langt bedre å tilskrive noen vekt til anerkjente tegn på kvalitet, uten dermed å la seg kneble av disse. Vi må heller ikke glemme faren for opportunisme forkledt som edle motiver. Det er mange som har mye å tjene på at vurderinger av vitenskapelig kvalitet flates ut og gjøres mer vilkårlige.