Vurdering av forskningens innhold og mangfold

Forskningsrådet vil gjerne svare på innlegget fra Erdal, Skardhamar, Wig og Knutsen som ble publisert i Khrono 24. oktober.

Bakgrunnen for at Forskningsrådet og en rekke forskningsinstitusjoner i Norge har signert Dora-erklæringen er at vi ser behovet for å videreutvikle vurderingsformer som vektlegger forskningens egenverdi fremfor hvor forskningen er publisert. Vi ser i dag at det er et overdrevent fokus på publiseringsprestisje i forskningssystemet og altfor utbredt bruk av Journal Impact Factor (JIF) for å vurdere enkeltforskere, slik en rapport fra European University Association viser. JIF var aldri ment å fungere på denne måten.

En annen viktig dimensjon ved DORA er behovet for vurderingsformer som kan anerkjenne forskningsinnsats utover publikasjoner. Dette kan for eksempel være innsamling av data og utvikling av datasett, som kan ha stor betydning for videre forskning, eller samarbeid med brukere av forskning for å øke forskningens relevans.

Tidsskrifthierarkiet

I et innlegg i Khrono forsvarer de fire samfunnsforskerne Erdal, Skardhamar, Wig og Knutsen tidsskrifthierarkiet og framhever at det er nødvendig å benytte tidsskriftenes prestisje som mål for forskningskvalitet. De reduserer vurdering av forskere for ansettelser eller prosjektbevilgninger til «subjektive vurderinger i fritt spillerom» dersom ikke tidsskriftshierarkiet brukes som objektiv målestokk på kvalitet.

Forskningsrådet og institusjonene har ulike roller i vurderingen av forskning og forskere, og vi kan ikke svare for hvordan institusjonene implementerer DORA eller andre prinsipper for vurdering. Men vi synes det er overraskende å lese at forskerne har så lav tillit til vurderingene som gjøres av deres egne fagfeller i komiteer og i ekspertpaneler. Slike fagfeller hentes systematisk utenfra institusjonene eller utenfor landet for å sikre habile og legitime vurderinger.

Internasjonale eksperter

Forskerne etterlyser konkrete svar på hvordan DORA-prinsippene skal implementeres i praksis, og er bekymret for at tidsskrifthierarkiet får for liten betydning.

Når Forskningsrådet behandler søknader er det prosjektet som er det sentrale, ikke prosjektlederens tidligere publikasjoner. Vi rekrutterer internasjonale eksperter med relevant kompetanse for søknadene i et panel. Disse ekspertene vurderer prosjektforslaget ut fra kriteriene vitenskapelig kvalitet, virkninger og effekter og gjennomføring. Ekspertene gjør sine vurderinger enkeltvis før de samles og gjør en felles vurdering i paneler. I tillegg bruker vi supplerende enkeltvurderinger når dette er nødvendig for å sikre at vi har tilstrekkelig faglig kompetanse. I tillegg til å kartlegge ekspertenes kompetanse, avklarer vi at det ikke foreligger faglige konflikter eller inhabilitet.

Vår søknadsbehandling baserer seg på at dyktige fagfeller er i stand til å identifisere de mest lovende prosjektene basert på søknadens beskrivelse av blant annet forskningsspørsmål, metode, teori, gjennomføring og sammensetning av prosjektgruppen og merittene til forskerne i gruppen.

Søkerens CV og akademiske meritter inngår som ett av fem vurderingspunkt under kriteriet for gjennomføring av prosjektet. Som en konkret implementering av DORA-prinsippene har vi utformet CV'er til prosjektsøknader for at disse skal dokumentere forskningskompetanse bredere enn vi har gjort tidligere. Her ber vi søkere liste opp et begrenset antall publikasjoner og antall siteringer for de enkelte publikasjoner. Når vi veileder våre fageksperter, er vi tydelige på at JIF eller et tidsskrifts prestisje eller rangering ikke skal benyttes i vurdering av enkeltforskeres kvalifikasjoner, med henvisning til DORA-erklæringen.

Som en videre oppfølging av vår implementering av DORA, vurderer vi å be søkere å gi en kort beskrivelse av sine viktigste publikasjoner og hvorfor dette er viktige og relevante bidrag. Dette vil være enda et tiltak for å vektlegge forskningens innhold heller enn publiseringskanalens prestisje. En slik tilpasning til DORA-prinsippene gjøres allerede av andre forskningsråd internasjonalt.

Våre internasjonale fageksperter er satt til å utøve sitt faglige skjønn og innstille de beste prosjektene. Denne innstillingen danner grunnlag for eventuelle relevansvurderinger i forhold til spesifikke tematiske målsetninger dersom søknadene er rettet mot et slikt formål, og beslutninger om investering i bevilgende organer.

Omfattende prosess

Det er en omfattende prosess som ligger til grunn for utvelgelse av de beste prosjektene. Prosessen er basert på at dyktige fagfolk er i stand til å gjøre solide skjønnsmessige vurderinger av kvaliteten på prosjekter innenfor deres eget forskningsfelt. Vi mener ekspertene er i stand til å gjøre dette uten å være avhengig av relativt endimensjonale «objektive mål» basert på tidsskrifthierarkiet.

Forfatterne viser til det de kaller «målefeil» når fagfeller gjør sine vurderinger, for eksempel at kjønn kan påvirke vurdering av forskningskvalitet, og kvaliteten i kvinners forskning nedvurderes. Vi gir tydelig beskjed til våre fageksperter om å være særlig oppmerksomme på denne problematikken, såkalt «implicit bias», og våre medarbeidere som koordinerer panelenes arbeid får også veiledning om dette.

Forfatterne antyder at fageksperter nedvurderer arbeider som ligger litt på siden av eget fagfelt. Dette stemmer ikke med vår erfaring. Vi mener derimot at det er en styrke ved vår vurderingsprosess at søknader vurderes i flere omganger av eksperter med ulik grad av ekspertise på det konkrete området. At vi har en grundig kvalitetssikring av våre prosesser betyr selvfølgelig ikke at det faglige skjønnet er ufeilbarlig. Forskning er kompleks virksomhet og vurdering av prosjekter er ikke objektive. Det er derfor noe variasjon mellom både enkelteksperters og paneler av eksperters vurdering og rangering.

Erfaring med Plan S

Det siste årets erfaring med Plan S og de nye forlagsavtalene i Norge, der forskere kan publisere åpent i svært mange tidsskrifter, viser at systemet kan endres og forbedres. Vi tror at det også er rom for å forbedre systemer og rutiner for vurdering av forskere og at uegnede indikatorer kan byttes ut med bedre målemetoder. Slik kan vi sammen bli flinkere til å vurdere forskningens innhold og mangfold.

Vi ønsker samarbeid med norske fagmiljøer om dette, og vi mener fagfellevurdering – av både publikasjoner, kandidater og prosjekter, er en svært viktig og helt nødvendig del av forskningsprosessene. Det undergraver forskningssystemet når dyktige forskere og professorer ved våre universiteter opplever og omtaler kvalitetssikringen som i dag gjennomføres som en «lav minimumslist». Slike påstander vil kunne bidra til lavere tillit til forskningen i samfunnet. Forskningsrådet ønsker en høy list som sikrer at forskningsbasert kunnskap er noe annet enn meninger og påstander i samfunnsdebatten.