Visjon og virkelighet i Forskningsrådet

Denne teksten er et debatt­inn­legg. Inn­holdet i teksten uttrykker forfatterens egen mening.

Tildelingsrunden av forskningsmidler i Forskningsrådet i desember har gitt opphav til en rekke kritiske kommentarer i media. I Khrono den 19. januar skriver områdedirektør Fridtjof Unander i Forskningsrådet: «For Forskningsrådet er gode prosesser, transparente og kvalitetssikrede vurderinger av søknader en av våre viktigste oppgaver». Dette er en visjon det ikke er vanskelig å slutte seg til, men hvordan ser virkeligheten ut?

Selv hadde jeg i år sendt inn en søknad om fysikk-type matematisk modellering av nettverk av nerveceller i synshjernebarken på mus, et tema jeg har forsket på i en 20-års periode finansiert av diverse kilder, også Forskningsrådets og EUs programmer. Jeg ledet, for eksempel, et Forskerprosjekt (FRIPRO) på tematikken fra 2016 til 2020 som fikk toppkarakter 7 da det ble evaluert som en del av FRINATEK, dvs. «matnat»-delen av FRIPRO. Med årets søknad, som jeg personlig synes var enda bedre, gikk det dårligere. Panelet satte bunnkarakteren 4, så lavt at søknaden umiddelbart var ute av dansen.

Fagvurderingen var ikke lystelig lesning. Det var åpenbart forfattet av en person som helt sikkert var en ekspert, men ikke på søknadens tema. Ikke bare viste vurderingen mangel på grunnleggende innsikt om modellering, det var også lite godvilje å spore. I vurderingen ble det, for eksempel, stilt det retoriske spørsmålet «hvorfor trenger vi en modell for synshjernebarken på mus når den er så forskjellig fra synshjernebarken på mennesker?».

Dette er jo et spesielt underlig spørsmål i Norge hvor forskning på rotter og mus har brakt heder og ære til landet. Denne innskrenkingen var for øvrig ikke noe som lå i panelets mandat (opplyst av Forskningsrådets saksbehandler i etterkant), og det samme panelet bevilget også midler til forskning på sebrafisk (vel fortjent for øvrig, gratulerer til gode kolleger i Trondheim!) som åpenbart er enda lenger unna mennesket.

Debatt ● Fridtjof Fossum Unander

Evaluering av forskningssøknader er en av våre viktigste oppgaver

Etter at den første frustrasjonen hadde lagt seg og jeg hadde fått utfyllende informasjon fra saksbehandler, slo det meg hvor lite søknadsbehandlingen var kvalitetssikret, spesielt sammenlignet med allmenne forventninger til saksbehandling i det offentlige Norge. Min saksbehandler i Forskningsrådet godkjente uten videre den slette rapporten som sendte min søknad direkte i søppelkurven.

Man kan åpenbart ikke forvente at saksbehandler i Forskningsrådet vet mye om temaet i hver enkelt søknad, men man kunne kanskje tenkt at det ble reagert på utsagn som klart demonstrerte at panelet ikke holdt seg innenfor sitt mandat? (Fra Forskningsrådet har jeg for øvrig fått opplyst at det knapt nok skjer at rapporter fra fagpaneler underkjennes, så min kritikk er rettet mot Forskningsrådets interne prosedyrer, og absolutt ikke min saksbehandler spesielt.)

Kontrasten er stor til andre deler av offentlig sektor. Når studenter på universitetet klager på en karakter, blir den vurdert på nytt av andre eksperter. Når man søker en vitenskapelig jobb, kan søkerne kommentere vurderingen fra den vitenskapelige evalueringskomiteen, og kommentaren og evalueringskomiteens respons følger videre saksgang. Når man klager på et vedtak hos Nav, blir klagen vurdert av nye saksbehandlere. Bare hos Forskningsrådet må man godta resultatet uten å mukke, uansett hvor slett saksbehandling som er gjort. Riktignok kan man klage på grove saksbehandlingsfeil som inhabilitet hos fagpanelister, men ikke på det som er viktigst, dvs. fagpanelets arbeid.

Fagfeller og begrunnelser

— Forskerne må sikres ordentlig behandling og tilbakemeldinger

Men manglende kvalitetssikring gjaldt ikke bare selve arbeidet til fagpanelet. Den gjaldt like mye Forskningsrådets plassering av min søknad i passende fagpanel. Min tidligere erfaring fra innsendte søknader til Forskningsrådet tilsa at kompetent vurdering av denne typen prosjekter kun kan gjøres av fagpaneler med forskningskompetanse innen fysikk-type modellering.

De fleste hjerneforskere gjør i hovedsak rent eksperimentell forskning og har bakgrunn innen biologi, medisin eller psykologi, og har typisk liten bakgrunn i matematikk og enda mindre i fysikk-type modellering. De kan være fremragende eksperter på sine egne fagområder, men har likevel ikke forutsetning til å kunne gi en kompetent vurdering av modelleringssøknader. Når man søker European Research Council, kan man selv bestemme hvilket fagpanel som skal vurdere sin søknad, men denne retten har man dessverre ikke i Forskningsrådet. Med håp om likevel å få min prosjektsøknad vurdert av et kompetent fagpanel, listet jeg opp tre fagdisipliner i tilhørende rubrikk i søknaden, alle innen fysikk og matematisk modellering.

Forskningsrådet valgte å ikke følge denne oppfordringen. Etter forslag fra kunstig intelligens (AI), supplert med såkalt skjønn fra saksbehandlere, valgte de i stedet å sende søknaden til et livsvitenskapspanel befolket av eksperimentelle hjerneforskere. Disse hadde ikke overraskende manglende forutsetning til å gi en kompetent vurdering og foretrakk som ventet prosjektsøknader som de kunne forstå og som var nærmere deres egen forskningsaktivitet og kompetanse. Da jeg så navnene i panelet og undersøkte deres bakgrunn, følte jeg meg litt som en langdistanseløper som har meldt seg på 5000 meter i årets NM i friidrett, men hvor arrangøren i stedet lar deg konkurrere i 110 meter hekk.

Ramsalt kritikk

Bredside mot Forskningsrådet: «Et system fullstendig blottet for selvinnsikt»

Transparensen, som Forskningsrådet sier de ønsker, prøvde jeg ut denne uka da jeg kontaktet Forskningsrådet for å finne ut litt mer om prosessene for søknadsevalueringer og ikke minst begrunnelsene for dem. Det er gjort mye forskning på søknadsevalueringer, og Stiftelsen Dam, som hvert år deler ut 300 millioner kroner til forskning og andre formål, har eksemplarisk nok utgitt rapporten «Bedre søknadsbehandling». Den beskriver ikke bare hvordan søknadsvurderingene gjøres hos dem. Med utgangspunkt i forskning på feltet, forklarer rapporten også hvorfor vurderingsprosedyrene er valgt som de er. En slik tilnærming øker ikke bare kvaliteten på søknadsvurderingene, den allment tilgjengelige rapporten øker også legitimiteten og tiltroen til prosessen hos søkerne.

Jeg etterlyste tilsvarende offentlig tilgjengelige dokumenter eller rapporter hos Forskningsrådet, som deler ut mer en tretti ganger mer penger enn Stiftelsen Dam, men noe slikt fantes oppsiktsvekkende nok ikke. I stedet ble det referert til «mange diskusjoner om evalueringsmetoder på ledermøter». Mulig at noen av valgene de har gjort på disse møtene er gode, men de er i alle fall ikke begrunnet for omverdenen.

Sende same søknad

I Noreg fekk ho stryk, i EU fekk ho 19 millionar i stjernestipend

Gitt at jeg skal prøve lykken hos Forskningsrådet igjen nå i februar, er jeg særlig opptatt av at mine søknader i alle fall nå havner i riktig panel. Jeg lurer derfor spesielt på hvorfor Forskningsrådet ikke velger samme prosedyre som European Research Council hvor søkeren selv får velge panel. Hva er begrunnelsen for at det er bedre med bruk av AI, supplert med litt saksbehandlerskjønn til slutt? For meg virker dette å være en dårlig løsning: Søkeren er åpenbart den som kjenner søknaden best og lettest kan vurdere i hvilket panel den har best sjanse til å få en kompetent vurdering.

Det er jo mulig at det er noen gode argumenter jeg ikke har tenkt på her, så i min kontakt med Forskningsrådet tidligere i uka etterlyste jeg spesielt en rapport eller dokument med en ordentlig kunnskapsbasert begrunnelse for dette valget. Men her ble jeg avvist. Kanskje det ikke finnes noe slikt dokument? Eller kanskje noen andre i Forskningsrådet kan hjelpe meg, i «transparensens» og åpenhetens navn? Enda bedre, kanskje noen kan hjelpe meg med tilgang til AI-programmet som skal brukes til å plassere søknader i paneler i årets søknadsrunde? Da kan jeg få testet ut hvilke nøkkelord jeg må bruke i tittel og sammendrag for at AI-programmet plasserer søknadene våre i et passende fagpanel og derved ikke er sjanseløse i utgangspunktet.

«Kvalitet og relevans» kreves av søknader som skal få støtte i Forskningsrådet. Tilsvarende må vi søkere kunne kreve «kvalitet og relevans» i søknadsbehandlingen hos Forskningsrådet. Det gjelder hvordan fagpaneler (og fageksperter) velges ut, hvordan søknader plasseres i ulike paneler, og ikke minst hvordan Forskningsrådet kvalitetssikrer rapportene og vurderingene som kommer fra fagpanelene. Videre bør bakgrunnen for valg av prosedyrene beskrives i åpent tilgjengelig rapporter, forankret i aktuell forskning på søknadsvurdering samt eksplisitte mål for hva som er målene for vurderingen.

Ett åpenbart mål er å finne frem til de beste prosjektene. Her er åpenbart kvalitetssikring viktig. Jeg er en etablert universitetsforsker, så jeg kan overleve årets avslag. Men for en ung forsker uten fast forankring i akademia, kan årets avslag bety kroken på døra for en akademisk karriere. Dessuten: Er målet kun å finne de 10 prosent beste søknadene? Eller er det også viktig at de 90 prosentene som ikke får tilslag får en faglig kompetent vurdering? Uavhengig av om søknaden innvilges, kan en inkompetent vurdering av en søknad man har brukt uker på å skrive, være svært demotiverende. Dette gjelder spesielt for yngre forskere uten noen positive erfaringer som kan bidra til å opprettholde den faglige selvtilliten.

Forskerprosjekt

Etterlyser tidligere svar fra Forskningsrådet: — Flere går inn i jula med en knust drøm

Forskningsrådet besitter mange høykompetente og hardt arbeidende saksbehandlere og bruker vel en milliard eller så på administrasjon. De burde ha alle forutsetninger for å gjøre evalueringsarbeidet vesentlig bedre, og mer transparent, enn i dag. Unander sier i sitt innlegg at Forskningsrådet arbeider kontinuerlig med hvordan de kan forbedre sine søknadsrutiner. Det er bra. Han henviser også til at de hvert år sender ut spørreundersøkelser til sine søkere. Også bra, men slik jeg kan huske har spørsmålene her handlet mye om, tross alt, mindre viktige administrative ting, som hvor lett det er å fylle ut Forskningsrådets søknadskjemaer. Fremover bør fokus legges et annet sted. Kanskje et første steg kan være å be alle søkere fra 2020 gjøre sine vurderinger av kvaliteten på fagpanelenes arbeid i evalueringen av årets og eventuelt tidligere års søknader?