Forskningsrådet utdyper søknads­behand­lingen ytterligere

Denne teksten er et debatt­inn­legg. Inn­holdet i teksten uttrykker forfatterens egen mening.

10. februar 2021 var det søknadsfrist for forskerprosjekt i Forskningsrådet. Til sammen mottok vi over 2400 søknader, og rundt 90 prosent av disse søknadene kommer til å få avslag. Dessverre, for det er langt flere enn 10 prosent av søknadene som vil være støtteverdige. Men innenfor våre budsjettrammer er det denne andelen vi har anledning til å finansiere.

De første ukene i 2021 har det vært flere oppslag og innlegg i Khrono hvor Forskningsrådets søknadsbehandling av forskerprosjekter er blitt diskutert. Flere har stilt spørsmåltegn ved våre rutiner og prosesser. En viktig lærdom vi tar med oss videre fra denne diskusjonen er at vi må bli enda bedre på å informere om hvordan vi gjennomfører søknadsbehandlingen. Vi har nå oppdatert informasjonen på våre nettsider med mer utførlig informasjon om hvordan søknadene behandles frem mot juni, slik at alle søkerne til Forskningsrådet kan få den samme informasjonen, se behandlingsprosedyre for Forskerprosjekt-søknader i 2021 (lenke til forskningsradet.no)

For Forskningsrådet er dialog med sektoren om våre prosesser og rutiner svært viktig, og vi inviterer blant annet til et dialogmøte med ledelse og forskere ved universitetene og instituttene om vår søknadsbehandling 9.mars. Vi har løpende og god dialog med forskere og med forskningsinstitusjonene, og har møter med ledelsen både på fakultetene og ved universitetene og høyskolene årlig, og vi har også god dialog med UHR og FFA. I tillegg sender vi hvert år ut undersøkelser til våre fageksperter, til søkere og til andre interessenter og ber om tilbakemeldinger på prosessen og for å få innspill om forbedringer.

Gaute Einevoll stiller i Khrono 9. februar flere spørsmål. Noe av dette er besvart i tidligere innlegg. Forskningsrådet arbeider målrettet med egne analyser, prosjekter og gjennom samarbeidsprosjekt med andre forskningsfinansiører og forskningsmiljøer for å sørge for at vi hele tiden videreutvikler kunnskapsgrunnlaget for søknadsbehandlingen vår. Vi har blant annet tett dialog med Stiftelsen Dam, som Einevoll referer til, og om deres rapport om søknadsbehandling som blant annet referer til vårt interne arbeid på feltet.

Debatt ● Gaute Einevoll

Forskningsrådet kan ikke begrense seg til å skrive innlegg om det de har lyst til å fortelle om

Videre samarbeider vi også med forskere som ønsker å forske på vår søknadsbehandling, vi finansierer egne forskningssentre som arbeider med disse problemstillingene (R-Quest og Osiris), vi finansierer en offentlig sektor-ph.d. med søknadsbehandling som tema, og vi bestiller jevnlig analyser og evalueringer av våre ulike ordninger og virkemidler. Mye av dette materialet er offentlig tilgjengelig, men vi vil gjøre det enklere å finne frem til dette på våre nettsider.

Forskningsrådet og European Research Council (ERC) har ulike prosesser for å vurdere prosjekter for bevilgning. ERC har delt inn søknadene til de tre utlysningene sine i 25 ulike panel hver. I disse panelene blir søknadene både evaluert og bevilget. Hvert panel behandler svært mange søknader (70-200 hver) i en to-trinns prosess. Det gjør at ERCs panelstruktur er fast, og søkerne kan finne sitt panel ved hjelp av forhåndsdefinerte stikkord. Panellederne kan imidlertid beslutte å flytte en søknad fra ett panel til et annet hvis de mener det gir søknaden en bedre behandling.

I Forskningsrådet er det de 15 porteføljestyrene som innenfor sine tema bevilger til prosjektene, basert på vurderingene som er gjort i paneler. Søknadene deles først inn i 29 panelgrupper og deretter i ca 100 paneler. Fordi Forskningsrådet bruker mer spesialiserte paneler som tilpasses søknadstilfanget, er det endringer i paneler hvert år og større utskifting av fageksperter. Vi tilpasser oss med andre ord mer til søknadene vi mottar. Men samtidig er det vanskeligere for en søker selv å finne ett panel i denne strukturen enn innenfor de 25 ERC panelene.

Når panelbehandlingen i Forskningsrådet er over, sammenstilles evalueringen for alle søknadene og relevans vurderes opp mot de tema i utlysningen søker har valgt. De respektive porteføljestyrene rangerer deretter alle de relevante søknadene, som er behandlet i de ulike panelene, basert på panelvurderingene og relevans i forhold til tema (unntatt banebrytende forskning – FRIPRO som ikke har relevansvurdering). Porteføljestyret beslutter hvilke søknader som skal innvilges basert på rangering og tilgjengelig budsjett. Det er selvsagt fordeler og ulemper med Forskningsrådets måte å fordele til panel på, men vi mener denne metoden bidrar til at hver søknad får en best mulig vurdering.

Einevoll har også spørsmål om AI-programmet som blir brukt i søknadsbehandlingen. Søknadens forskningsinnhold er retningsgivende for hvilket panel den plasseres i, ikke temaet eller temaene søkeren har valgt. Vi bruker en maskinlæringsalgoritme som beslutningsstøtte til fordeling av søknadene på de ulike panelgruppene. Algoritmen er trent med tidligere års plassering av søknader.

For hver panelgruppe plasseres den enkelte søknaden slik at den skal få best mulig behandling. Mange søknader blir gjenstand for diskusjon før de plasseres i et panel. Det gjelder for eksempel tverrfaglige søknader, som kan passe i flere panelgrupper. I 2020 ble mange av søknadene plassert i en annen gruppe enn maskinlæringsalgoritmen foreslo.

Einevoll ønsker også tilgang til AI-programmet som brukes til å foreslå hvilke søknader som passer i hvilke paneler. For å lage en modell som gjenkjenner panelgruppe/tema basert på tekst, har Forskningsrådet utviklet en algoritme som benytter metoder innenfor kunstig intelligens (NLP). Algoritmen er i kode, og ikke i hyllevare. Det vil være mulig å få innsyn i koden, men koden er nok ikke anvendelig til andre formål enn det den er tiltenkt. Einevoll må gjerne ta kontakt direkte med oss om dette.

Einevoll ønsker utdypet hva det betyr at «alle søknader vil bli kommentert av et samlet panel i 2021». Det er viktig å understreke at tiltaket i 2020 med et ekstra kvalifiseringstrinn (ref tidligere Khrono sak), var et tiltak vi gjennomførte i 2020 for kunne sikre effektiv gjennomføring av panelmøtene som måtte legges om til digitale møter pga. korona-situasjonen. I 2021 vil panelbehandlingen være slik den var i 2019 og hvor alle søknadene diskuteres i plenum i panelmøtene. Panelmedlemmene leverer sine individuelle vurderinger for hver søknad i forkant av panelmøtet. De individuelle vurderingene sendes ikke til søker, men blir delt med de andre panelmedlemmene. Gjennom en diskusjon i panelet blir søknaden vurdert fra ulike perspektiver. Panelet kommer fram til omforente vurderinger, en kalibrert bruk av karakterskalaen og en rangert liste over de beste søknadene.

Vi har i enkelte utlysninger, blant annet senterordninger, hatt behandlingsprosess hvor søker har kunnet gi kommentarer direkte til panel og/eller hatt intervjuer mellom søkere og komiteer hvor søkere kan kommentere fagekspertenes vurderinger. Vi har valgt å ikke ha det for søknadstyper der vi mottar flere tusen søknader.