Flere land avgjør forsknings­­søknader ved lodd­trekning

Brussel/Bergen (Khrono): I september varslet British Academy at de for første gang vil teste loddtrekning ved fordeling av forskningsmidler. Det skal trekkes lodd for søknader om over 10.000 britiske pund, om de kommer seg gjennom en første kvalitetssjekk. De er ikke først ute i Storbritannia, Natural Environment Research Council har gjennomført et lignende forsøk.

De britiske finansiørene er dessuten ikke de første som tester ut loddtrekning, eller randomisering. Det er testet i land som New Zealand, Østerrike, Tyskland og Sveits. Debatten går i flere land, i Danmark og Kanada diskuteres det å teste lignende systemer. Også i Sverige går debatten.

Det kan også bli aktuelt i Norge. Som Khrono nylig skrev, ser Forskningsrådet på en rekke ulike endringer rundt forskningsfinansiering. Det ligger 12 forslag på bordet. Et av det er lotteri blant likt vurderte søknader på toppnivå.

— Tidligere har det vært betydelig skepsis til dette, men slik opplever jeg ikke situasjonen nå, sa Forskningsrådets direktør Mari Sundli Tveit til Khrono.

Helt ukontroversielt er det imidlertid ikke. Professor Bertil Tungodden sier til Khrono at han tror loddtrekning kan redusere søknadskvaliteten og føre til misnlye blant forskere.

Vil fjerne partiskhet

Tidsskriftet Nature tok nylig til orde, på lederplass, for at flere burde prøve ut loddtrekning. De viste blant annet til Schweizerischer Nationalfonds zur Förderung der wissenschaftlichen Forschung (SNF), den største forskningsfinansiøren i Sveits, som årlig deler ut nær en milliard sveitsiske franc.

Sveitserne har gått lenger enn noen andre. Etter et pilotprosjekt fra 2018-2020 ble det i 2021 klart at de vil bruke loddtrekning som metode over hele linja.

Da sveitserne startet pilotprosjektet, var målet å bli kvitt såkalt bias, eller partiskhet, når millionene ble fordelt på ulike forskningsprosjekter.

Ifølge Martina Haug, research officer i SNF, handlet det også om å sikre større effektivitet i søknadsbehandlingene.

— Det kom inn flere og flere søknader, men budsjettet hadde ikke økt i samme takt. Det var panelmøter med lange diskusjoner, der det til slutt ikke var mulig å skille mellom enkelte av forslagene, forteller hun Khrono over en skjerm fra Sveits.

les også

Fjernet søknadsfrister og halverte antall søknader

Avstemning

Haug beskriver hvordan de ville sørge for at ikke andre enn de offisielle objektive kriteriene fikk spille en rolle i disse lange diskusjonene. Kvaliteten på diskusjonene gikk ikke nødvendigvis opp i takt med lengden på møtene, sier hun.

— Ideen var derfor å forsøke loddtrekning for en liten andel søknader, der det var vanskelig å skille ved hjelp av de offisielle kriteriene, sier hun.

SNF startet i det små, i pilotperioden handlet det kun om mobilitetsstipender for postdoktorer, stipender som gis til postdoktorer som tilbringer to år ved en vertsinstitusjon i utlandet. Det trekkes altså ikke lodd om alle tildelingene. I pilotperioden gjaldt det rundt fire prosent. Siden slutten på pilotperioden har 5,1 prosent av alle søknader om slike mobilitetsstipender vært gjenstand for randomisering.

Haug forteller at en del prosjektsøknader avvises allerede i en første runde der alle vurderes uavhengig av to ulike panelmedlemmer, som gir prosjektene karakterer fra en til ni. Et prosjekt som for eksempel får karakteren tre i to ulike vurderinger, kan avvises allerede her. Deretter diskuteres resten i et fysisk møte der medlemmene av panelet stemmer over hver søknad, det bestemmer hvilke prosjekter som finansieres direkte og hvilke som går til loddtrekning.

Trekker lapper

Så hvordan gjennomføres loddtrekningen i praksis?

— Problemet med et elektronisk system er at du ikke kan være helt sikker på at det er tilfeldig, så vi bestemte oss for å gjøre det fysisk, sier Haug.

Hun beskriver en prosess der de eksempelvis kan ha sju prosjekter, hvor tre skal finansieres. Lapper med de sju navnene brettes i små kuler som deretter legges i en bolle. Så kommer en person inn fra et annet rom og trekker. Alt tas opp på video.

Flere var skeptiske i starten, men det har ifølge Haug endret seg.

— Det er bedre nå, folk trengte tid for å se fordelene og at alternativet, å diskutere forslagene i timevis, ikke var noe bedre, sier hun.

les også

Ser på titalls ulike endringer rundt forskningsfinansiering

Mindre kontroversielt

Kristin Oxley forsker på fagfellevurderingsprosesser i sitt doktorgradsprosjekt ved TIK Senter for teknologi, innovasjon og kultur, Universitetet i Oslo. Hun forteller at loddtrekning ikke nødvendigvis er en rød klut lenger for de som konkurrerer om forskningsfinansiering.

— Det er blitt mer ukontroversielt med loddtrekning eller randomisering som vi kaller det på fagspråket. New Zealand var først ute, og der brukes det både av Health Research Council og Science of technology and innovation, der de har lagt dette inn som en metodikk i noen av sine programmer, sier Oxley.

Hun forteller også at private stiftelser, slik som Volkswagen Foundation, benytter delvis randomisering når forskningsprosjekter skal velges ut med tanke på finansiering og støtte.

— De som har normalisert loddtrekning i størst grad, er Swiss National Science Foundation. De bruker dette på alle sine ordninger som en såkalt «tie-breaker» mellom søknader som ellers er helt likestilte, sier Oxley.

les også

Vil slipe ned tellekantene med europeisk koalisjon og nytt norsk nettverk

Mer radikalt

— Så ordet loddtrekning i et slikt tilfelle handler ikke om at hvilken som helst søknad kan vinne frem?

— Nei, det er i disse tilfellene temmelig lite radikalt, fordi det handler om å velge mellom søknader som er svært like i kvalitet og nivå. Dette er nokså ukontroversielt også blant dem som blir utsatt for denne typen utvelgelse, sier Kristin Oxley.

Det er likevel noen som går lengre i å la tilfeldighetene råde ved utvelgelse av forskningsprosjekter som skal finansieres.

— Volkswagen har gjort andre grep som nok er mer radikale med tanke på utvelgelse. Du har også Austrian Science Foundation som bruker randomisering, det samme gjelder British Academy, forteller Oxley.

Ved bruk av mer radikale former for loddtrekning handler det om mindre tildelinger og på felter der man er ute etter virkelig grensesprengende, nyskapende ideer og prosjekter.

— En del forskning tyder på at fagfellevurdering i disse tilfellene fungerer relativt konserverende. Slike paneler er gjerne ganske risikoskye. Derfor brukes randomisering for å redusere slike skjevheter når det handler om å finne de virkelig nyskapende prosjektene, sier Kristin Oxley.

les også

Forskningsrådets omdømme svekket

Trekkes fra en pool

Hun forklarer at forsøkene med randomisering er vitenskapelig basert, og at de som tester metoden ut også forsker på hvordan en slik metode fungerer. Volkswagen Foundation gjennomførte dette som et eksperiment i perioden 2017 til 2020/21, og planen er at det skal rapporteres på resultatene i løpet av 2022. 12 av søknadene skulle velges ut av fagfeller, mens 12 skulle velges ut randomisert. Så vurderes resultatene av disse prosjektene mot hverandre.

— De radikale formene for randomisering, hvordan gjennomføres de?

— Da brukes ikke loddtrekning bare til å skille mellom ellers helt like søknader. I disse tilfellene kvalifiserer prosjektene til en pool, der det så trekkes ut gjennom lotteri. Det betyr at det trekkes mellom prosjekter som kan være litt ulike i kvalitet og nivå. Men dette er jo likevel blant sterke prosjekter, sier Oxley.

Hun forklarer at det ikke finnes svært mange eksempler hvor randomisering har blitt brukt på hele søknadsbunken.

— Det er et fåtall akademiske artikler hvor dette fremholdes som et alternativ, men det store flertallet ser behovet for at man har en første runde med kvalitetssikring av søknader før man foretar en randomisert utvelgelse blant de sterkeste, sier Oxley.

les også

Gir full gass på EU-søknader etter budsjettavklaring

Ikke mellom de beste

Forskningen på feltet viser at fagfellevurdering er godt egnet til å skille mellom gode og dårlige søknader. Men til å skille mellom de beste søknadene, er ikke fagfellevurderingen like god.

— Nå har vi vært i en situasjon der suksessratene er fallende, færre av de som søker får innvilget prosjekter. Da skal det i større grad skilles mellom søknader som er svært gode. Det er vanskelig. En undersøkelse fra USA viser også at blant de sterkeste søknadene er det mindre sammenheng mellom fagfellevurderingen og hvordan det går med prosjektene etterpå. Dermed kan man like godt ha et lotteri, sier Oxley.

— Og dette er ukontroversielt blant søkerne?

— Der slike metoder er testet, viser resultatene at randomisering blir akseptert av et flertall. Men det gjelder altså relativt små bevilgninger innen områder der man er ute etter de veldig nyskapende prosjektene. Her viser forskningen at fagfellevurdering har en tendens til å favorisere de tryggere prosjektene.

Tverrfaglig vanskelig

— Mange av forskerne sier i dag at de føler de er med i et lotteri når de søker om midler hos Forskningsrådet. Så da er det vel like greit å trekke lodd?

— Ja, så lenge det er kvalitetssikring av søknadene som velges ut til å delta i randomiseringen. Det er også slik at mange av søknadene er tverrfaglige. Da blir det enda vanskeligere å gjøre en rettferdig sammenligning.

— Noen av de meritterte forskerne vi har snakket med, argumenterer mot radikal randomisering, og at det heller bør legges mer vekt på historiske prestasjoner og kvalitet. Hva tenker du ?

— Dersom det velges ut en pool på de 20 prosent beste søknadene,P vil jo de med høyest kvalitet velges ut. I det inngår jo også historien og tidligere meritter, sier Oxley.

les også

Forskningsrådet må nedbemanne: — En tøff og krevende situasjon

Sparer ikke arbeid

Hun understreker at loddtrekning i noen grad kan underminere tillit til et utvelgelsesregime. Men det gjelder i liten grad så lenge det velges mellom prosjekter som er i toppsjiktet.

— Nå snakkes det om å forenkle systemet for forskningssøknader, med mål om at forskerne skal bruke mindre tid på søknadsskriving og at mindre ressurser skal gå med til søknadsbehandling. Hva tror du vil skje her?

— Det er iallfall ikke noe argument for å bruke randomisering. Det er lite man vil spare administrativt ved å kjøre randomisering i forhold til dagens modell. I noen grad brukes det tid på å rangere sterke søknader. Men det er ikke slik at det er dette som stjeler ressursene.