Enige om nytt evaluerings­regime. UiO advarer mot ekstern kontroll

Brussel (Khrono): — Det er på tide å gå videre fra eksisterende erklæringer og definere hva vi ønsker med evalueringen av forskning. Universiteter, forskere og andre må velge hvordan de vil bli vurdert og de må velge nå.

Uttalelsen kommer fra Michael Murphy, president for European University Association (EUA).

Universitetsorganisasjonen, som representerer over 800 universiteter og nasjonale rektorkonferanser i Europa, inkludert norske, er en av aktørene bak en plan for å reformere evalueringen av forskning og forskere. Planen er skrevet inn i en avtale som er offentliggjort etter flere måneder med forhandlinger mellom tunge forskningsaktører og EU-kommisjonen.

Som Khrono har skrevet om tidligere, har de blant annet rettet inn siktet mot bibliometriske indikatorer, eller «tellekanter». Det skal legges mindre vekt på kvantitative mål i forskningsevalueringen. Antallet publiserte artikler, prestisjen til tidsskriftene og siteringer skal telle mindre.

— «Publish or perish» and metrics have led us into a blind alley, heter det i en uttalelse fra president Marc Schiltz i Science Europe.

I avtalen heter det at det først og fremst skal legges vekt på kvalitative vurderinger, støttet av det de karakteriserer som en «ansvarlig bruk av kvantitative indikatorer».

Debatt i flere land

Debatten er på ingen måte ny, den går i flere land.

Like før jul vedtok for eksempel Folketinget i Danmark en ny avtale om finansiering av universitetene som gjør at nivået på de danske «tellekantene» fryses til 2021-nivå fram til 2025.

I mars foreslo det norske finansieringsutvalget å fjerne publiseringsindikatoren og kutte kraftig i de såkalte tellekantene.

— En radikal omveltning, sa forskning- og høyere utdanningsminister Ola Borten Moe til Forskerforum.

Da Khrono intervjuet EUs generaldirektør for forskning, Jean-Eric Paquet, tidligere i år, pekte han på San Francisco-erklæringen om forskningsvurdering (DORA) fra 2012 og til det såkalte Leiden-manifestet fra 2015.

— Problemene med dagens system har vært kjent verden over i mange år, sa Paquet og la til at framskrittene har «vært begrenset og fragmentert».

I november kom EU-kommisjonen med en rapport, etter innspill fra sektoren, der det heter at publiseringsjag «går på bekostning av kvalitet, integritet og tillit til forskningen». I juni signerte forskningsministerne i EU en avtale der de støtter en reform av forskningsevalueringen.

Skal bygge koalisjon

Med den ferske avtalen tas det et steg videre.

I tillegg til et knippe overordnede prinsipper for et nytt evalueringsregime, inneholder det 23 sider lange dokumentet en tidsplan for når det skal på plass. Det bygges også en koalisjon av organisasjoner som skal forplikte seg til å følge opp avtalen.

Arbeidet med å utforme avtalen er blitt ledet av EUA og Science Europe, som organiserer nasjonale forskningsfinansiører, med EU-kommisjonen som såkalt «tilrettelegger».

Avtalen slår også inn i den norske debatten om tellekantene.

Mens EUA har norske universiteter på medlemslista, er Norges Forskningsråd medlem av Science Europe, direktør Mari Sundli Tveit sitter også i styret for den europeiske organisasjonen.

Forskningsrådet er dessuten en av over 350 aktører som tidligere har meldt sin interesse for koalisjonen som nå skal bygges. Det samme har Universitets- og høgskolerådet, NTNU, OsloMet og Universitetet i Oslo.

Nå må de ta stilling til om de skal signere avtalen og bli en del av koalisjonen. Gjør de det må de levere en handlingsplan for hvordan de skal endre evalueringssystemet innen utgangen av 2023, eller ett år etter at de har signert. Selve innsamlingen av signaturer skal lanseres under en konferanse i regi av EU-kommisjonen i september.

En liste med forpliktelser

Avtalen inneholder blant annet en liste med «kjerneforpliktelser» for de som signerer.

En skal anerkjenne «bredden i karrierer og bidrag til forskningen», heter det blant annet. Det skal legges vekt på kvalitative mål gjennom fagfellevurderinger, med støtte fra kvantitative indikatorer der det er «meningsfullt og relevant».

Men bruken av slike indikatorer skal altså begrenses, de som signerer skal avstå fra «inapproriate uses» av beregninger som Journal Impact Factor (JIF) og den såkalte H-indeksen (se faktaboks).

Så hva betyr det?

les også

Vil kaste om på systemet for evaluering av forskere

En skal ikke «utelukkende stole på forfatterbaserte beregninger (som telling av publikasjoner, patenter, sitater og tildelinger) for å vurdere kvalitet og/eller innvirkning», heter det blant annet.

Avtalen retter også siktet inn mot internasjonalt rangeringer av institusjoner som driver med forskning. De som signerer skal forplikte seg til ikke å bruke disse i evalueringen. Dette skal blant annet «hjelpe forskningsmiljøet og forskningsorganisasjoner til å gjenvinne autonomien til å forme egen vurderingspraksis, heller enn å måtte følge kriterier og metoder satt av eksterne kommersielle selskaper».

I avtalen ber de også forskningsorganisasjoner om å være «oppmerksomme på at offentlig kommunisering (som aktiv reklamering for rangeringen til en institusjon) kan bidra til oppfatningen om at kvalitet sammenfaller med rangeringsplasseringer».

Avtalen vil også forplikte de som signerer til å sette av nødvendige ressurser for å reformere evalueringssystemet.

Vil ikke forskuttere

Da avtalen ble presentert for ulike aktører under et møte i starten av juli, skal et klart flertall ha svart at de trolig vil signere.

— Jeg vil ikke forskuttere det, svarer derimot prorektor Åse Gornitzka ved Universitetet i Oslo på spørsmål om hvorvidt UiO vil signere.

— Her må vi ha åpen diskusjon. Om det hjelper oss i retning gode prosesser er det en fordel, men vi må også se om det er andre sider ved avtalen. Vi må ha en åpen og god diskusjon, sier hun.

Gornitzka har vært involvert i arbeidet fra universitetets side. Hun beskriver arbeidet som «viktig og omfattende» og forteller at det har vært en stor debatt om hvordan en slik reform skal gjennomføres. Dette spørsmålet er viktig for UiO, sier hun.

— Implementering må preges av tillit, ikke kontroll, skrev UiO-rektor Svein Stølen på twitter da avtalen ble offentliggjort.

Dette har vært viktig for mange, sier Gornitzka:

— I stedet for å etablere et stort kontrollapparat, med ekstern kontroll over oppfølgingen, må det være basert på et tillitssystem hvor institusjonene selv har ansvar for å følge opp, det må være basert på den institusjonelle autonomien.

Ikke juridisk bindende

I avtalen understrekes det at den ikke er juridisk bindende. Det kommer etter at det ble advart mot en sentralisert og bindende reform, ikke minst kommet fra tyske hold. I mai advarte forskningsfinansiøren DFG mot en sentralisert reform. Det skjedde bare to uker etter at en allianse av tyske forskningsorganisasjoner slo fast at de ikke ville signere på en juridisk bindende avtale.

— Er du fornøyd med avklaringene i avtalen?

— Nå ligger teksten der, så må vi ha en diskusjon om prinsippene og forpliktelsene i avtalen. Det har vært en intens prosess. Det berører universitetenes kjerneaktiviteter og faglige ansvar. Det er også del av en reformtrend man har sett med Dora-erklæringen og reformarbeid nasjonalt. Så dette er ikke fremmed for oss, vi må nå ta en diskusjon med europeiske kolleger og internt i organisasjonen for å vurdere om vi kommer til å signere. Slik er det for de fleste, svarer Gornitzka.

Det er et kronglete landskap der det varierer hvor ensidig vekt det legges på kvantitative mål, sier hun og legger til at det ved UiO ikke er «ensidig kvantitative mål som vært avgjørende i vurderingsprosessene».

Med store variasjoner nasjonalt og mellom ulike disipliner er det vanskelig å treffe med et felles opplegg, mener Gornitzka. Hun tror likevel at en slik avtale over tid kan få effekt på hvordan en tenker om vurdering og evaluering av forskning.

— Jeg tror det kan ha effekt for oppmerksomheten rundt dette, sånn sett kan det bidra til å få en reform, sier hun.