Lav tillit til Forsknings­rådets eksperter: — Ville ikke gitt så slett vurdering på en bachelor­oppgave

 — Man sitter jo og lurer på om det er de faktisk beste søknadene som får penger. Min mistanke er at de som har de mest korrekte «buzz-ordene» som Forskningsrådet er ute etter, blir vurdert høyt, sier Marius Warg Næss ved Norsk institutt for kulturminneforskning (Niku).

Sosialantropologen søkte Forskningsrådet fire ganger om såkalte Fripro-midler til banebrytende forskning, men uten å få tilslag.

Han er ikke imponert over søknadsbehandlingen, og reagerer blant annet på manglende begrunnelser for karakterene og avslagene. 

— Jeg ville ikke gitt en så slett vurdering på for eksempel en bacheloroppgave. Det var ikke argumenter, det var bare påstander uten begrunnelse som ble slengt opp, sier han.

Se Forskningsrådets svar lenger ned i artikkelen. 

Næss er ikke alene om å mangle tiltro kompetansen til de som sitter i Forskningsrådets ekspertpaneler.

I en studie har forskningsinstituttet Nifu spurt forskere fra Norge, Sverige og Nederland om hvordan de vurderer kompetansen til fagfellene i de nasjonale forskningsrådene som vurderer søknadene deres. Altså hvor kompetente ekspertene, som for eksempel Norges forskningsråd henter inn, er til å vurdere forskningsprosjektet de vil gjennomføre. 

Forskerne redegjør for studien i et innlegg i Khrono i dag.

Slik er dommen over ekspertene

De spurte er kardiologer, fysikere og økonomer. 

Kun 29 prosent svarte at ekspertene i de nasjonale forskningsrådene hadde «høy eller svært høy evne» til å vurdere kvaliteten på søknaden deres. 

19 prosent mente ekspertene hadde «lav eller svært lav evne». 

— For meg framsto det som at ingen med faglig kompetanse hadde vurdert det. Det framstod som en overveiende administrativ vurdering, sier Marius Warg Næss om sine søknader til Forskningsrådet. 

Undersøkelsen viser at forskerne har langt større tiltro til fagfellene som vurderer deres artikkelutkast for tidsskrifter, enn til fagfellene som vurderer deres forskningssøknader.

Fripro

Tror antall søknader til Fripro blir halvert

— Det er ikke toppforskerne 

Næss forteller at han, etter å ha fått avslag, har googlet paneldeltagerne.

— Og det er ikke toppforskerne, slik jeg ser det.

Han sier han har forståelse for at det er vanskelig å få tak i fagfeller som skal «dekke alt». Og at han ikke kan forvente å få en som er ekspert på hans fagfelt til å vurdere søknaden hans. Men han legger til: 

— Jeg har for eksempel fått kritikk for å bruke kvantitative metoder, og for at det ikke vil løse de problemene jeg vil løse. Det synes jeg er en suspekt kommentar som mangler begrunnelse.

Næss ville undersøke evolusjonære mekanismer for å forstå samarbeid mellom nomader i Afrika og Asia.

De tre første søknadene hans fikk karakteren fire på en skala fra én til sju. Det betyr «godt», men de hadde også en rekke mangler, ifølge panelene til Forskningsrådet. Den siste søknaden fikk karakteren fem.

Fikk ERC-stipend 

Marius Warg Næss fikk til slutt napp, men ikke hos Norges forskningsråd. I fjor var han én av ni forskere i Norge som fikk prestisjestipendet EUs Consolidator grant fra Det europeiske forskningsrådet (ERC). Han forteller at han får nesten to millioner euro over fem år. Dette til den samme ideen som Forskningsrådet i Norge hadde vendt tommelen ned for. 

— Man blir jo veldig fornøyd. Så går det fem minutter, og så tenker man: «Satan, nå må man sette seg ned og jobbe», sier han. 

Etter tilslaget fra EU tikket det fjerde avslaget fra Norges forskningsråd inn.

Undersøkelsen til Nifu viser at forskere stoler mer på egne kolleger og fagfellene som vurderer artikler for tidsskrifter, enn på forskningsrådenes eksperter. 

64 prosent mente at tidsskriftenes fagfeller hadde høy eller svært høy kompetanse til å vurdere forskningen deres.

71 prosent sa det samme om sine kolleger. 

Også Næss har større tillit til tidsskriftene enn til Forskningsrådets eksperter.

— Det er mye rart i tidsskriftene også. Men generelt virker det som om redaktørene er flinkere til å skille mellom skitt og kanel. De er opptatt bidra til å forbedre artikkelen, og ser bort fra kritikk som kanskje ikke har innhold, sier han. 

Sende same søknad

I Noreg fekk ho stryk, i EU fekk ho 19 millionar i stjernestipend

Slik svarer Forskningsrådet 

Administrerende direktør Mari Sundli Tveit i Forskningsrådet sier hun ikke vil kommentere enkeltsøknader. Men hun nevner at Fripro og ERC-stipendet har ulike prosesser og vurderingskriterier.

— Det har vært ekstremt vanskelig å få Fripro. Det har vært så lav tilslagsprosent at også mange veldig gode søknader ikke har fått tilslag, sier hun.

Etter bestilling fra regjeringen, gjør Forskningsrådet nå endringer i Fripro-ordningen for at tilslagsprosenten skal gå opp.

Til påstanden om at paneldeltakerne ikke var kompetente til å vurdere søknadene, sier Sundli Tveit:

— Jeg kan ikke kommentere på enkeltsøknader. Men vi er veldig opptatt av åpenhet om våre prosesser og arbeider kontinuerlig med å forbedre kvaliteten. Vi har gjort en rekke endringer de siste årene for å styrke oss på det. 

— Hva er din kommentar til at 29 prosent av forskerne mente ekspertene var godt egnet til å vurdere søknadene deres. Er det godt nok?

— Det er avgjørende med tillit, transparens og legitimitet i våre prosesser. Det jobber vi med hele tiden. Jeg leser også derfor denne undersøkelsen med stor interesse.

— Hvor stor tillit opplever du at norske forskere har til Forskningsrådets ekspertpaneler?

— Vi gjennomfører årlig flere brukerundersøkelser på det, og det er noe vi følger nøye. Vi opplever at det er god tillit til våre prosesser.

forskningsrådet

Forskningsrådet lover bedre tilbakemeldinger

Har gjort endringer 

Våren 2021 gikk det en debatt, blant annet i Khrono, om Forskningsrådets behandling av søknader. Det kom påstander om vilkårlighet, svake begrunnelser, lite gjennomsiktighet og manglende kompetanse hos ekspertene. 

— Allerede da gjorde vi en del endringer som hadde med søknadsprosedyrene, etter innspill og dialog med miljøene. Vi gjorde en rekke endringer når det gjelder blant annet åpenhet og transparens, og vurdering av og svar på søknadene, sier Mari Sundli Tveit. 

— Hele tiden har vi jobbet med å bedre kvalitetene i ekspertpanelenes vurderinger, i tilbakemeldingene man får, at de begrunnes på en god måte, og bedre informasjon om hva som skjer på de ulike tidspunktene i søknadsbehandlingen. Det er fundamentalt for oss at vi gjør dette på en god måte.

—Ikke enkelt 

Liv Langfeldt i Nifu, som er en av forskerne bak studien, minner om at ekspertpanelene skal vurdere flere søknader og sammenligne dem. Derfor har de varierende kompetanse på det den enkelte søknad søker om støtte til.

— Det er vanskelig å få til en høyere tillit til kompetansen så lenge man har mer generell kompetanse og skal sammenligne søknader. Ideelt sett kunne man ønsket seg paneler med like god kompetanse på alle søknadene. Men det er ikke så enkelt, sier hun.

Samtidig kommer habilitet inn i bildet. Og det er ikke så lett å få folk til å stille opp. 

— Man ønsker å ha folk som ikke har noen bindinger til denne forskningen. Du skal finne noen som er både habile og kompetente. Det er ikke lett å få til. 

— Hvordan kan man bedre tilliten?

 — Det virker som de mer spesialiserte og smale forskningsrådene er flinkere til å finne kompetanse til å matche den enkelte søknad. Så det kan være at de store og brede forskningsrådene kan gjøre noe der, sier hun.

 — Samtidig klager forskningsrådene på at det er vanskelig å få folk til å stille opp. Det er et ganske stort press internasjonalt på å skaffe få tak i disse eksperter til ulike typer fagfellevurdering.

Langfeldt mener Forskningsrådet kan bli flinkere til å rådføre seg med søkerne. 

— Dette er noe de allerede gjør, men de kan være mer systematiske i å ta innspill fra søkerne i hva slags kompetanse som trengs til den gitte søknaden. Og knytte til seg ekspertise som kjenner fagmiljøene såpass godt at de er gode på å velge eksperter for den enkelte søknad. 

Kan be Sverige om hjelp 

En annet forslag er at forskningsråd kan samarbeide over landegrenser. 

— For å få til gode løsninger som kombinerer dedikerte, habile og kompetente eksperter, kan man se for seg at de rett og slett kan bytte hvilke søknader de har ansvar for å finne ekspertise til, sier Langfeldt.

Hun viser til at for eksempel Norges forskningsråd kan få hjelp fra Sverige til å finne fagfeller i Sverige til å vurdere søknader, og omvendt.

Liten tiltro til ERCs eksperter 

Marius Warg Næss synes det er bekymringsfullt at forskere mangler tillit til Forskningsrådets eksperter. Men Nifus undersøkelse tyder ikke på at tiltroen til Det europeiske forskningsrådet (ERC), der Næss fikk tilslag, er noe større.

Bare 16 prosent mente ERCs eksperter er godt egnet til å vurdere søknadene. På dette spørsmålet svarte imidlertid 61 prosent «ikke relevant/vet ikke». 

 Næss deler ikke denne skepsisen.

— Jeg opplevde at ERC-vurderingen var grundig. Både kritisk der det var viktig å gi kritikk, og den ga ros der dét var på sin plass. Det virket som de klarte å balansere det. 

Ramsalt kritikk

Bredside mot Forskningsrådet: «Et system fullstendig blottet for selvinnsikt»