Forskningsrådet må lære av forskningen

Denne teksten er et debatt­inn­legg. Inn­holdet i teksten uttrykker forfatterens egen mening.

Mitt siste innlegg i vinterens aktive debatt om evalueringsrutiner for søknader i Forskningsrådet har resultert i to nye innlegg fra Forskningsrådet, både fra områdedirektør Unander og styreledelsen i Forskningsrådet. Det takker jeg for, og det er spesielt flott at jeg har greid å lokke styret til å bli med i debatten. Etter snart et titalls debattinnlegg på Khrono fra mange av landets ledende forskere, hadde jeg kanskje forventet at de ville engasjert seg før. Men bedre sent enn aldri.

Styreledelsen forsikrer oss om at diskusjonen på styremøtene har vist at styremedlemmene har stor interesse for problematikken. Det er fint å høre, og hadde ikke styremøtene vært lukket, kunne vi utenforstående fått innblikk i diskusjonen og argumentene. I innlegget sies det også at styret vil evaluere de siste års søknadsprosesser når årets søknadsbehandling er ferdig. De vil invitere alle søkere til å gi tilbakemelding og ha samtaler med alle sine 15 porteføljestyrer og med forskningsinstitusjonene og deres interesseorganisasjoner. Dette vitner om at de er åpne for forbedringer, og det er også bra.

les også

Slik kunne Forskningsrådet ha gjenvunnet søkernes tillit

Men det styret i Forskningsrådet, i motsetning til Stiftelsen Dam, kanskje ikke tatt inn over seg, er at søknadsevaluering og beslutningspsykologi er et velutviklet forskningsfelt. Som interessert amatør på dette feltet har jeg i det siste lest flere bøker på tematikken (for eksempel, «Tenke, fort og langsomt» av nobelprisvinner Daniel Kahneman og «Predictably Irrational» av Dan Ariely) og fått et lite innblikk i vanlige fallgruver og hvordan disse kan unngås.

Opplegget som styret skisserer med diverse samtaler og input som skal oppsummeres av et styre som tross alt ikke har forskningskompetanse på dette feltet, er ikke tilstrekkelig til å gi et godt forskningsbasert grunnlag for endringsbeslutninger. Dessuten blir jeg jo litt betenkt over at konklusjonen på evalueringen fra styret kan synes klar allerede, når de i slutten av innlegget konkluderer med «Til tross for at det alltid finnes et forbedringspotensial, så mener styret at Forskningsrådet har gode prosesser for evaluering av forskningssøknader».

Når man skal gjøre et forskningsprosjekt eller en utredning, er det selvfølgelig viktig å stille med et så åpent sinn som mulig i utgangspunktet. En bør i alle fall ikke offentliggjøre sine forventninger på forhånd. Dette vil både kunne påvirke hvordan konklusjoner trekkes fra data og gjøre det vanskelig å skifte mening av prestisjegrunner. Jeg synes styrets planer om en evaluering er utmerket, men jeg foreslår at de går i tenkeboksen og allierer seg med forskere på feltet for å gjøre den mer objektiv og forskningsbasert.

Jeg takker områdedirektør Unander for i alle fall delvis å svare på mine spørsmål. Det vil si, han har forbilledlig beskrevet prosedyrene for årets søknadsevaluering i Forskningsrådet og trukket opp forskjellene med prosedyrene som brukes i European Research Council (ERC). Det er bra og gir et bedre grunnlag for videre diskusjon.

På spørsmålet mitt om hvorfor de har valgt en annen prosedyre enn ERC skriver han imidlertid kun «vi mener denne metoden bidrar til at hver søknad får en best mulig vurdering.» OK, men hvorfor mener de det? Som en kontrast refererer Stiftelsen Dam til sin egen rapport «Bedre søknadsbehandling» når de begrunner sine søknadsevalueringsprosedyrer. Når Unander til tross for mitt konkrete spørsmål ikke kan peke til et tilsvarende dokument hos Forskningsrådet (og jeg i personlig kommunikasjon med Forskningsrådet har etterlyst dette uten hell), må jeg vel konkludere med at en slik rapport ikke finnes. I personlig kontakt med Forskningsrådet i januar ble det istedenfor rapport referert til «diskusjon på flere ledermøter.» Det er jo en ærlig sak, men det reiser jo en bekymring om at Forskningsrådet ikke bare har vært dårlig til å kommunisere med forskerne, men at de også har tatt lett på å forankre sine prosedyrer i forskning på feltet.

Når ledelse og styre i Forskningsrådet legger planer fremover, bør de ha i mente at tillit hos forskersamfunnet, og legitimitet til beslutningene de tar, ikke bare krever åpenhet. Som i en forskningsartikkel, må beslutningen som tas begrunnes i forskning og være offentlig tilgjengelig. Det er flott at Stiftelsen Dam har gått foran og vist hvordan dette kan gjøres.

les også

Viktig diskusjon om evaluering av forskningssøknader

PS! Det er fint at Unander tilbyr meg koden til AI-roboten som brukes til å sortere søknader i paneler. Men nå var jo fristen for årets søknadsrunde allerede for noen dager siden, så tilbudet kommer litt sent. Jeg gav for øvrig årets søknad tittelen «PhysicsNET» med håp om å overbevise AI-roboten om at den hører hjemme i et panel med kompetanse i fysikk og ikke havner i et panel med eksperimentelle biologer som i år. Vi får se hvor vellykket denne listige manøveren er. Uansett, for mange ville det kunne være både nyttig og underholdende å få testet ut AI-robotens vurderinger av sine søknader. Teknisk sett skulle det ikke være noe problem å lage en portal på Forskningsrådets hjemmesider hvor dette kan gjøres.