Vi teppebombes med forskjellige indikatorer

Det er en besnærende tanke – at kvaliteten ved våre universiteter og høgskoler skal kunne drives fram gjennom et sofistikert og heldekkende insentivsystem. Men er tanken god? Jeg spør, fordi det nå er foreslått å innføre en indikator som premierer siteringer, og som eventuelt vil komme i tillegg til de indikatorene vi allerede har.

I januar 2015 la en regjeringsoppnevnt ekspertgruppe fram forslag til nytt finansieringssystem for universiteter og høyskoler, Finansiering for kvalitet, mangfold og samspill. Ekspertgruppen foreslo blant annet å utrede en siteringsindikator.

I januar 2016 ble utredningen utlyst som oppdrag i åpen konkurranse, og NIFU fikk oppdraget. I avtalen med NIFU skriver Kunnskapsdepartementet at «Hovedformålet med en eventuell siteringsindikator skal være å stimulere til mer forskning av høyere kvalitet ved å premiere institusjoner med høy impact/stort gjennomslag i anerkjente publiseringskanaler». Jeg tror min egen institusjon ville tjene på dette – på kort sikt, og i kroner og øre. Likevel vil jeg argumentere for at vi burde la være å innføre en slik indikator.

Forslaget om en siteringsindikator – som nå har vært på høring - føyer seg inn i en lang historie om indikatorer og premiering.

Helt siden 1992 har institusjoner fått deler av sine bevilgninger fastsatt på grunnlag av oppnådde resultater. I den første perioden var det vekttallspremiering for de gamle universitetene. I 2002 fikk sektoren en ny finansieringsmodell som utvidet ordningen, bl.a. ved å innføre insentiver for forskningsresultater. I 2006 ble modellen gjort lik for alle statlige universitets- og høgskoleinstitusjoner.

I 2014 var 30 prosent av bevilgningene til den statlige universitets- og høgskolesektoren basert på oppnådde resultater og de resterende 70 prosent på videreføring av historiske rammer. Åtte prosent av bevilgningene var forskningsinsentiver knyttet til antall publikasjoner, tildelte EU-midler, tildelte forskningsrådsmidler og avlagte doktorgrader.

Så – i januar 2015 – fikk vi konklusjonene fra ekspertutvalget ledet av Torbjørn Hægeland. Mye positivt kan sies om utvalgets rapport om finansieringen av forskning og høyere utdanning i Norge. Mange forslag var gode, og ekspertutvalget gikk inn for en modell som skulle bevare og styrke institusjonenes strategiske og økonomiske handlingsrom. Men som nevnt foreslo utvalget også at man burde vurdere innføring av en siteringsindikator.

Siteringsindikatorer benyttes i økende grad når forskning evalueres. Bibliometriske data kan være et verdifullt supplement til en kvalitativ vurdering gjennomført av fagfeller, men vi ser også at det i mange sammenhenger legges for stor vekt på bibliometri. The San Fransisco Declaration on Research Assessment (DORA) er et av flere initiativer som har vokst frem som en reaksjon på dette. DORA legger vekt på at kvaliteten på enkeltartikler skal vurderes, uavhengig av tidsskriftet de er publisert i og dets impact factor. Den foreslåtte indikatoren måler også enkeltartiklers gjennomslag og synlighet, og er i så måte et godt supplement til dagens indikator som legger mer vekt på tidsskriftenes kvalitet. Samtidig er det mye forskning med høy kvalitet som ikke fanges opp av siteringsindikatorer. Og innføringen av en siteringsindikator vil på sikt kunne føre til at det legges for stor vekt på siteringer i evalueringen av norsk forskning.

En uheldig effekt av en siteringsindikator kan være at fagmiljøer velger bort norsk som publiseringsspråk og at viktige norske tidsskrifter ikke lenger blir benyttet i tilstrekkelig grad. Den foreslåtte siteringsindikatoren tar i noen grad høyde for dette, ettersom viktige nasjonale fag innenfor humaniora og rettsvitenskap ikke vil inkluderes i indikatoren. Samtidig nevnes det at også disse fagene skal inkluderes i indikatoren dersom dekningsgraden i databasene øker tilstrekkelig.

I juni 2016 leverte Brekkeutvalget en rapport med forslag om syv nasjonale retningslinjer for åpen tilgang til vitenskapelige publikasjoner. Den første av disse retningslinjene er «Forskere finansiert av norske offentlige midler skal som førstevalg publisere sine vitenskapelige artikler i tidsskrift med åpen tilgang (såkalt gull Open Access).»

Analyser gjort ved UiO viser at artikler publisert i rene Open Access (gull) tidsskrifter skårer lavere enn artikler i abonnementstidsskrifter, både målt med indikatoren gjennomsnittlig siteringshyppighet sammenlignet med verdensgjennomsnittet, og andel artikler blant verdens ti prosent mest siterte artikler. Dette gjelder innenfor de fleste fagområder. Mye tyder dermed på at siteringsindikatoren vil kunne redusere entusiasmen for Open Access. Dette er et typisk eksempel på de målkonfliktene som kan oppstå ved innføring av nye indikatorer.

UiO støtter anbefalingene for bruk av bibliometri som uttrykkes i Leiden-manifestet. Den foreslåtte indikatoren bryter langt på vei med flere av disse anbefalingene, særlig prinsippet om at prosesser rundt bruken av bibliometriske data skal være åpne, transparente og enkle. Den foreslåtte indikatoren er for kompleks og lite gjennomsiktig. Jeg mener at sektoren ikke er tjent med en slik indikator.

Det er ingen opplagt kobling mellom indikatorer og kvalitet. The Centre for Research Quality and Policy Impact Studies (R-QUEST) konkluderer:

«National level studies find no straightforward connection between financial incentives and the efficiency of university systems in terms of publication performance (…). Moreover, turning to the impacts of specific instruments, studies indicate that research funding instruments have limited impact on research performance as measured in citation impact, but may impact productivity in terms of number of publications (…) and increased career success (…).»

De indikatorene og insentivene vi allerede har, er godt innarbeidet. Min erfaring er at de har fungert godt, også innenfor min egen organisasjon. Det er selvsagt helt avgjørende hvordan de brukes og at målkonflikter identifiseres og tas hensyn til.

Det er med indikatorer som med så mye annet: Måtehold er viktig. Desto flere indikatorer vi innfører, desto større press blir det for å innføre enda flere. Når det er indikatorer og insentiver for publikasjoner, EU-prosjekter og doktorgrader – hvorfor ikke også for patenter og formidling? Samt for offentlige utredninger og lærebøker? Slik kan vi fortsette. Det kan føres gode argumenter for å premiere alle de nevnte oppgavene. Men universitetets samfunnsoppdrag er så komplekst og sammensatt at det er umulig å dekke det med et indikatorsystem – uansett hvor sofistikert det settes sammen. Vi kan ikke teppebombes med indikatorer. Desto flere indikatorer, desto større er sannsynligheten for at de trekker universitetet i feil retning og bort fra den langsiktigheten og den risikoviljen som er så avgjørende for kvaliteten og gjennombruddskraften i moderne grunnforskning.

I en artikkel nylig publisert i University World News sier jeg følgende om indikatorer: «In the university sector, indicators and incentives should be used with care, and they should not be allowed to multiply and interfere with academic freedom and institutional autonomy. An unrestrained use of indicators and incentives easily favours incremental research rather than research characterised by high risk and high gain.»

La oss vise måtehold.

(Innlegget er først publisert på rektors blogg).