Vil kaste om på systemet for evaluering av forskere

Brussel (Khrono): — Dagens evalueringssystem har etablert en «publiser eller forsvinn»-kultur, der forskere kjemper om å sikre seg publiseringer i tidsskrifter de anser som prestisjefylte. Til gjengjeld bygger tidsskriftene forskernes omdømme, som ofte er viktig for karriereutvikling i akademia og for å sikre seg nye stipender.

Ordene kommer fra Jean-Eric Paquet, EUs generaldirektør for forskning og innovasjon.

Det representerer en «ond sirkel», mener han.

I et skriftlig intervju med Khrono beskriver han hvordan det nå jobbes for å reformere hele systemet for evaluering av forskere. Bibliometriske indikatorer, «tellekanter» om du vil, skal telle mindre, kvalitet skal telle mer.

Regner med å ha på plass avtale til sommeren

Paquet er langt fra den eneste som retter inn siktet mot publiseringsjaget i debatten om forskningsevalueringen.

— Vi må bli kvitt besettelsen «publiser eller forsvinn». Vi må gå for kvalitet, folk må publisere mindre, ikke mer, sa Paquets forgjenger som generaldirektør, Robert-Jan Smits, i et intervju med Khrono tidligere i år.

I november kom det også en rapport fra EU-kommisjonen, etter innspill fra sektoren. Der heter det at publiseringsjaget «går på bekostning av kvalitet, integritet og tillit til forskningen».

Nå tas det et steg videre. De siste månedene har Paquets generaldirektorat, sammen med tunge aktører på forskningsfronten, jobbet med å få på plass en avtale om et nytt evalueringsregime.

Det slår også inn i den norske debatten om blant annet tellekantsystemet.

les også

Tellekantenes dager kan være talte for forskningen

For det første ledes arbeidet med avtalen av blant andre European University Association, som flere norske universiteter er medlem av, og Science Europa, som direktør Mari Sundli Tveit i Norges Forskningsråd sitter i styret for.

I tillegg til avtalen bygges det dessuten opp en koalisjon av aktører som skal forplikte seg til å følge opp avtalen. Over 300 aktører i 37 land har meldt sin interesse. På lista finner vi også Universitetet i Oslo, NTNU, Forskningsrådet og Universitets- og høgskolerådet (UHR).

Paquet skriver til Khrono at de regner med å ha ferdig en avtale nå i sommer. Deretter vil koalisjonen bli etablert på et konstituerende møte, før arbeidet starter til høsten.

Mener det er en ond sirkel

«Publiser eller forsvinn»-kulturen, der forskerne jakter publisering i prestisjetunge tidsskrifter, som bygger forskernes omdømme, representerer altså en ond sirkel, mener Paquet. På spørsmål fra Khrono om hva hovedproblemet er lister han opp flere ting som han mener er «uheldige virkninger» av dagens system:

• Andre viktige resultater av forskningen enn publikasjoner undervurderes, som datasett, programvare, modeller og metoder, og favoriserer forskning det er mer sannsynlig at fører til publikasjoner, foran nyskapende forskning med høy risiko og store sjanser for å mislykkes.
• Det gir begrenset anerkjennelse til mangfoldet av aktiviteter hos forskere, som åpen forskningspraksis og samfunnsengasjement, lagarbeid, fagfellevurdering, veiledning av stipendiater og lederroller. Det gir også lite anerkjennelse av ulike roller og ekspertise som er komplementære og avgjørende i en forskergruppe.
• Det legger for mye vekt på konkurranse i stedet for samarbeid, noe som svekker forskernes kompetanse og vilje til å dele egne resultater med andre på et tidlig tidspunkt.
• Det stimulerer ikke tilstrekkelig til å følge en streng vitenskapelig metode, noe som ofte fører til lite robuste funn og potensielt til begrenset reproduserbarhet av forskningsresultater.

Alt dette mener Paquet går på bekostning av kvaliteten og gjennomslaget til forskningen, i tillegg til «å gjøre forskerkarrierer mindre attraktive og true tilliten til forskningen».

— Vi vil heller ha en forskningskultur som verdsetter høy kvalitet for kunnskapsutvikling og samfunnsbidrag, skriver han.

Vil redusere dominansen

Paquet skriver at det overordnede målet er at vurderinger skal baserer på en direkte vurdering av kvaliteten og effekten av de ulike forskningsbidragene, ikke gjennom det han beskriver som en «uhensiktsmessig» bruk av målbare størrelser.

les også

Tellekanter eller ikke: De er avgjørende for karrieren uansett, mener forsker

— I dag er det for eksempel fortsatt vanlig å bruke Journal Impact Factor (JIF) som en proxy for kvalitet, selv om det har vist seg å være et dårlig mål for kvalitet. Det var aldri ment at JIF skulle brukes til å bedømme kvaliteten på en enkeltpublikasjon.

Vurdering av kvaliteten må først og fremst være basert på kritisk lesing og vurdering av fagfeller, legger han til.

Ifølge Science Business heter det i et avtaleutkast fra midten av mai at en ved å droppe uhensiktsmessig bruk av bibliometri, skal «redusere dominansen til et smalt sett med kvantitative indikatorer».

Slike indikatorer skal utfylle kvalitative kriterier basert på fagfellevurderinger bare når det er «meningsfullt og relevant».

En skal anerkjenne et mangfold av forskerkarrierer og bidrag til forskningen, forskningsvurderinger skal først og fremst baseres på kvalitativ evaluering av fagfeller, en skal droppe «uhensiktsmessig bruk» av kvantitative indikatorer.

Vil ha «ansvarlig bruk»

I rapporten fra november heter det at en skal ha en «ansvarlig bruk av kvantitative indikatorer». Så hva betyr det? Også her streker Paquet opp flere eksempler.

— Kvantitative indikatorer som antall publikasjoner, patenter, siteringer, stipender og så videre, må støtte og ikke erstatte kvalitativ vurdering. Kvalitativ vurdering bør primært være basert på kvalitative indikatorer som casestudier og narrativer, skriver han blant annet.

Kvantitative indikatorer knyttet til hvor noe er publisert, format eller språk, bør ikke brukes til å vurdere kvaliteten og virkningen av forskningsresultater, heter det videre.

En må også se på konteksten for evalueringen, skriver han, fordi det kan variere hvor hensiktsmessig en kvantitativ indikator er i vurderingen av en institusjon og en forsker. Bruken av kvantitative indikatorer må dessuten «ta hensyn til mangfoldet av vitenskapelige disipliner, forskerkarrierer, forskningstyper og -praksis», det heter også at kilder, innsamling og prosesser må være åpne og at en må ta hensyn til og anerkjenne «potensielle negative effekter av å bruke kvantitative indikatorer».

Rettferdig evaluering?

Betyr dette slutten på «publiser eller forsvinn»?

— Jeg er usikker, svarer Jan Palmowski, generalsekretær i universitetsalliansen The Guild, som også er involvert i arbeidet.

— Jeg er usikker, for avtalen vil ikke endre underfinansieringen av høyere utdanning, betydningen av tredjepartifinansiering for forskning av høy kvalitet — som ofte er avhengig av kortvarige forskerstillinger — og den stadige overskuddsetterspørselen etter stillinger på alle nivåer. Flertallet av de som er i forskerstillinger gjør dette av lidenskap, det går den ekstra mila, og det er det vanskelig å belønne rettferdig når så mange mennesker gjør det, sier han til Khrono.

— Hvordan sikre en rettferdig forskningsevaluering?

— Vi må vurdere en rekke indikatorer på fornuftig vis, det det betyr å bruke kvantitative indikatorer på en ansvarlig måte, sammen med kvalitative indikatorer, som også må brukes forsiktig.

Så hva skal anerkjennes? Det er to sider ved spørsmålet, mener Palmowski.

— Hvordan vurderer vi kvaliteten på forskningen som sådan — hvordan belønner vi banebrytende metoder og resultater, og alle de som har bidratt til det? Og hvordan gjør vi det på tvers av og mellom fag?

Det andre spørsmålet er ifølge Palmowski hvordan en skal belønne alt en forsker gjør, eller forventes å gjøre.

— Spørsmålet er hvordan du veier disse tingene opp mot hverandre. Forskningsreformen skal forplikte institusjonene til å vurdere en passende liste over aktiviteter, så er det opp til institusjonene selv å finne ut hvordan de gjør det, sier han.

Vil anerkjenne deltakelse i debatter

En skal «anerkjenne mangfoldet av forskningsaktiviteter- og praksis», heter det i EU-kommisjonens rapport fra november. I tillegg til ting som fagfellevurdering og veiledning heter det i rapporten at en blant skal vurdere «forskningskommunikasjon og samhandling med samfunnet».

— Betyr det at en også skal anerkjenne deltakelse i samfunnsdebatter?

— Ja, absolutt, svarer Paquet og fortsetter:

— Enkelte forskere dedikerer betydelig med aktiviteter og tid til samhandling med samfunnet, som å engasjere borgere, lokalsamfunn og sivilsamfunn i den vitenskapelige prosessen, formidle vitenskap, bidra til debatter og politikkutvikling, eller yte ulike tjenester til samfunnet.

les også

Danskene «fryser» tellekantene

Paquet peker på erfaringene fra koronapandemien:

— Vitenskapelige råd til beslutningstakere var avgjørende for å dempe infeksjoner og utforme evidensbaserte tiltak. Alt dette er viktige bidrag til samfunnet og til å bygge tillit til vitenskapen, det må anerkjennes fullt ut i vurderingen av forskere, spesielt ved rekruttering eller forfremmelse av forskere.

Advares mot sentralisert reform

Diskusjon om forskningsevalueringen er ikke noe nytt. Paquet viser til både San Francisco-erklæringen om forskningsvurdering (DORA) fra 2012 og til det såkalte Leiden-manifestet fra 2015.

— Problemene med dagens system har vært kjent verden over i mange år, skriver han og legger til at framskrittene har «vært begrenset og fragmentert».

Selv om de får på plass en avtale nå, vil det ta tid å komme i mål, understreker han.

— Signeringen av en avtale og lanseringen av en koalisjon vil bare være starten på en lang prosess, med arbeid over flere år, for å definere og prøve ut nye indikatorer og evalueringsmetoder og implementere endringer. Dette er nok en grunn til at vi ikke bør utsette etableringen av en avtale og koalisjonen, skriver Paquet.

les også

Fiktiv fransk protestforsker utfordrer «tellekanter», har publisert nær 200 artikler

Ifølge Science Business heter det i utkastet at avtalen ikke er juridisk bindende, men at det representerer «en offentlig forpliktelse til å bidra aktivt og konstruktivt til å reformere forskningsevalueringer», forskningsorganisasjoner skal ha fleksibilitet i å velge hvordan reformene skal implementeres, heter det.

De viser til at det fra tysk hold er blitt advart mot en sentralisert reform, blant annet offentliggjorde en allianse av de ti største forskningsorganisasjonene i Tyskland tidligere i mai en uttalelse der de advarer om at de ikke ville signere en avtale om det ble bindende.

Stiller flere spørsmål

Palmowski beskriver arbeidet med avtalen som «en vanskelig og kompleks prosess». Det er noen nøkkelspørsmål, mener han.

— Hvordan utvikle en avtale som er fleksibel nok til å svare på ulike kontekster og institusjonelle oppdrag, samtidig som institusjonene forplikter seg til en felles retning?

Han spør også hvordan virkningene av avtalen skal overvåkes for å sikre seg mot utilsiktede virkninger, hvordan en reform skal følges opp uten å skape et stort byråkratisk maskineri og hvordan en skal sikre at myndigheter og forskningsfinansiører er med, så universitetene ikke står alene.