Slik kunne Forskningsrådet ha gjenvunnet søkernes tillit

Denne teksten er et debatt­inn­legg. Inn­holdet i teksten uttrykker forfatterens egen mening.

De fleste søknader om forskningsprosjekt, blant dem mange veldig gode, ender med avslag. Da er det lite forskjell mellom Norges Forskningsråd og EUs rammeprogram for forskning. Men hvorfor oppfatter de fleste forskere avgjørelser ved Europakommisjonen (EC) som rettferdig og forståelig, mens dette tydeligvis ikke er tilfelle ved Forskningsrådet? I det siste har det stormet kraftig rundt Forskningsrådet, som nå innser at tilbakemeldingene til søkere ofte ikke er gode nok. Dette er ikke nødvendigvis fagekspertenes feil. Problemet ligger i selve evalueringsprosessene og -rutinene, og problemet kunne løses med noen forholdsvis enkle grep:

1: Konsekvent begrunnelse av karaktersetting.

Ved søknadsvurdering for EC må fagekspertene identifisere «shortcomings» for å begrunne karaktersetting. Klarer man ikke å finne noen «shortcoming» for et bestemt kriterium, settes makskarakter. Hver «shortcoming» trekker karakteren nedover. I vurderinger fra Forskningsrådet finner vi ofte bare positive kommentarer, men likevel blir ikke makskarakter gitt. Det er tydelig at det mangler klare og enhetlige retningslinjer og definisjoner for bruk av karakterskala, og at det gis altfor mye rom for ekspertenes «magefølelse» som ikke må begrunnes.

2: Kvalitetssikring av rapportenes innhold og formuleringer.

Forskningsrådet oppfordrer riktignok panelekspertene at «the written comments should justify the marks given and there must be consistency between the comments and the marks», men det er tydeligvis ingen som passer på at dette faktisk skjer. Ved EC sjekker en uavhengig «quality controller» om karakterene er godt nok begrunnet. Kontrolløren sjekker også om rapportene er forståelig skrevet, om alle evalueringskriterier ble fullstendig brukt og om alle paneler har brukt karakterskala på samme måte. Er dette ikke tilfelle, sendes rapporten tilbake til panelet for revidering. Ingen i panelet har lov til å reise hjem før alle rapporter er godkjent. En slik kvalitetssikring er verken kostbar eller tidskrevende: En rutinert kontrollør kan kvalitetssikre flere titalls rapporter på en dag. Og etter hvert som fagpanelene bearbeider tilbakemeldingene lærer de seg å skrive forståelige og konsistente rapporter på kortere tid. Dette kan jeg bekrefte av egen erfaring.

3: Enhetlig og konsekvent bruk av alle evalueringskriterier i alle paneler.

I rapportene fra Forskningsrådet ser vi ofte at evalueringskriteriene blir brukt ufullstendig, at aspekter som overhodet ikke er med i evalueringskriteriene ble kommentert eller at kriteriene ble vektlagt på ganske forskjellige måter. Også her er det åpenlyst at det mangler tydelige retningslinjer, eller at de ikke blir fulgt. Ved EC blir mye av slik forskjellbehandling allerede oppdaget ved kvalitetskontrollen. I tillegg kommer «panel cross-reading»: representanter fra hvert panel leser hverandres rapporter, etter godkjenning fra kvalitetskontrollen. Her finner vi som er panelrepresentanter ofte ut at noen paneler har vært strengere enn andre ved like aspekter og problemstillinger. Da må vi bli enige om en felles forståelse, og så må vi ofte endre karakterene i rapportene tilsvarende.

4: Støtteverdige søknader burde rangeres etter offentlig kjente kriterier.

Etter vurdering i ekspertpanelene går støtteverdige søknader ved NFR videre til porteføljevurdering, hvor den endelige avgjørelsen blir tatt. Som oftest er det flere støtteverdige søknader enn budsjettet har rom for, og det betyr at søknader med samme karakter kan få enten tilslag eller avslag. Det finnes ingen tydelige og bindende kriterier for rangering av disse. Vi kan finne en liste med vage aspekter uten tydelig prioritering, som det «tas hensyn til i en helhetlig porteføljevurdering». Søkerne får aldri noen begrunnelse hvorfor deres støtteverdige søknad ble rangert lavere enn andre søknader med samme karakter. Ved EC er både rangeringskriterier og deres prioritering tydelig kommunisert i utlysningsdokumentene. Det er kun disse tydelige forhåndsdefinerte kriterier som brukes til rangering av søknader med samme karakter. Her er det ikke rom for noen form for synsing eller annen påvirkning, og den endelige rangeringen – som da medfører tilslag eller avslag - er forståelig for søkerne.

Det er bra at Forskningsrådet arbeider kontinuerlig med å videreutvikle søknadsbehandlingen. Mye har jo blitt bedre etter omstillingsprosessen i 2019. Den pågående debatten viser at det likevel fortsatt er behov for forbedring. Tydeligere retningslinjer til ekspertene; kvalitetskontroll og «panel cross-reading» av panelrapportene; tydelig definerte, offentlig kjente kriterier for rangering av støtteverdige søknader - det er ikke så mye mer enn dette som må til for at Forskningsrådet kan gjenvinne søkernes tillit.

(Jeg sammenligner her Forskningsrådet sine rutiner med vurderingsprosessen for forskerprosjekt (RIA) i de tematiske programmene for samfunnsutfordringer (Societal Challenges) i Horizon 2020. De fleste programmer i H2020 følger denne prosessen, med noen unntak som for eksempel ERC eller MSCA.)

Debatt ● Hilde Tonne og Kenneth Ruud

Viktig diskusjon om evaluering av forskningssøknader