Kryssende uenighet om ny indikator for sitering

Universitets- og høgskolesektoren er splittet i synet på innføring av en siteringsindikator i tellekantsystemet. Uenigheten går på tvers av den tradisjonelle uenigheten i sektoren. Det er for eksempel ikke noe tydelig skille mellom unge og gamle universiteter. 

Blant de mest positive finner vi  Forskningsrådet, Nord universitet, Norges miljø- og biovitenskapelige universitet (NMBU), NHH (Norges handelshøyskole) og Akademiet for yngre forskere.

Mens Universitetet i Oslo, Høgskolen i Oslo og Akershus, Handelshøyskolen BI, høgskolene i Sørøst-Norge og på Vestlandet, samt universitetene i Stavanger og Agder er blant de skeptiske. Også Forskerforbundet, NSO og Universitets- og høgskolereådet sier nei.

NTNU plasserer seg et sted midt imellom og det samme gjør langt på vei Universitetet i Bergen. 

UiT Norges arktiske universitet har gått fra å være positive til å være imot en siteringsindikator. 

Dette kommer fram i høringsuttalelser som er sendt til Kunnskapsdepartementet. 

Splittet om finansiering

Sektoren var også splittet den dagen forslag til nytt finansieringssystem,  ble lagt fram av Kunnskapsdepartementet  i januar 2015

• Les også: UH-sektoren er splittet på forslag fra finansieringsutvalg

Siden den gang har NIFU på vegne av departementet utredet en siteringsindikator, Vekt på forskningskvalitet, og det er denne som nå har vært ute på høring.

Kunnskapsdepartementet mente at forslaget fra NIFU innebar en så stor endring i publiseringsindikatoren at det måtte på høring. Og 32 institusjoner har sendt inn høringssvar til fristen 1.mars. 

• Les også: Antall siteringer kan bli en del av tellekantene

Rice og HiOA er imot

Rektor ved Høgskolen i Oslo og Akershus, Curt Rice, viste i et innlegg i Aftenposten på kvinnedagen 8.mars hvordan en ny siteringsindeks kan slå skjevt ut for kvinner all den tid forskning viser at forskningsartikler publisert av kvinner blir langt mindre sitert enn de som publiseres av menn, samt at menn mye oftere siterer seg selv. 

Fremmer ikke kvalitet

I høringsuttalelsen sin er også Høgskolen i Oslo og Akershus klar: «Høgskolen i Oslo og Akershus er imot en utvidelse av publiseringsindikatoren med en siteringsindikator av tre hovedårsaker: Indikatoren vil ikke fremme kvalitet, den er problematisk i et likestillingsperspektiv og den vil ikke være dekkende for sentrale fagområder som ellers har høy forskningspolitisk prioritet».

— Å gi økt belønning for selvsitering er rart, sier Curt Rice til Khrono, han peker også på at mer eksperimentelle fag vil komme dårligere ut enn for eksempel artikler innen medisin og naturvitenskap der det publiseres mange flere artikler. 

Ottersen går imot siteringsindikator

I et blogginnlegg nylig går også rektor ved Universitetet i Oslo, Ole Petter Ottersen, imot en siteringsindikator, selv om Universitetet i Oslo kan være en av dem som kan komme til å tjene på en slik indikator.

«UiO støtter anbefalingene for bruk av bibliometri som uttrykkes i Leiden-manifestet. Den foreslåtte indikatoren bryter langt på vei med flere av disse anbefalingene, særlig prinsippet om at prosesser rundt bruken av bibliometriske data skal være åpne, transparente og enkle. Den foreslåtte indikatoren er for kompleks og lite gjennomsiktig. Jeg mener at sektoren ikke er tjent med en slik indikator», skriver Ottersen. 

(Foto: Skjalg Bøhmer Vold)

Les Ottersens innlegg: Vi teppebombes med forskjellige indikatorer

Forskningsrådet positive

Forskningsrådet støtter intensjonen i forslaget; at kvalitet i forskningen skal tillegges vekt i finansieringen av universiteter og høyskoler, og gjerne større vekt enn i dag. Institusjoner med forskningsmiljøer som holder høy kvalitet, bør bli finansielt belønnet, mener Forskningsrådet i sin høringsuttalelse. 

Selv om det foreliggende forslaget har mange svakheter, vil Forskningsrådet ikke fraråde at det arbeides videre med sikte på at det tas i bruk en siteringsindikator. De mener at det vil innebære at en betydelig mengde nye data blir samlet inn. «Dette er data som vil være interessante både for institusjonene, Forskningsrådet og politiske myndigheter. og kan i tillegg til å inngå i finansiereingssystemet også være nyttige i feks monitorering og evaluering av forskningen», skriver divisjonsdirektør Anders Hanneborg i divisjon for Vitenskap i Forskningsrådet i høringsuttalelsen.

NFR mener også at flere alternativer burde vært utredet: «Én kunne vært å utvide publiseringsindikatoren slik at publikasjoner med særlig høy kvalitet tillegges enda større vekt. Dette kan fore eksempel gjøres ved å etablere et nivå tre for publikasjoner i de høyest rangerte kanalene for publiseringer», skriver Forskningsrådet. 

Røttingen mest enig med Ottersen

John-Arne Røttingen tiltrådte som administrerende direktør i Forskningsrådet samme dag som høringsfristen gikk ut, 1.mars, og kjenner dermed ikke detaljene i Forskningsrådets høringsuttalelse.

Røttingen har lest UiO-rektor Ottersens innlegg og også Curt Rice i Aftenposten.

Røttingen sier at han langt på vei støtter UiO-rektor Ole Petter Ottersens innvendinger og tenkning rundt et for omfattende og detaljert indikatorsystem. Men Røttingen mener likevel at dagens publiseringsindikator som kun måler produktivitet, bør kunne justeres og forbedres med flere faktorer, som for eksempel siteringer, kjønn og open access.

— En justering for siteringer vil dermed kunne erstatte dagens system som måler siteringsnivå indirekte gjennom nivåinndelingen av publiseringskanalen, altså tidsskriftet, sier Røttingen til Khrono.

— Summa summarum så gir ikke dette flere indikatorer, men en mer mangfoldig publiseringsindikator, sier han og understreker at det er viktig at denne typen indikator brukes på tilstrekkelig aggregert nivå:

— Det må ikke brytes ned på ulike ledd i avdelinger og institutter, eller på hver enkelt forsker,  presiserer han. 

Justere for kjønn og open access

— Jeg tror absolutt det er mulig å komme fram til modeller som kan justeres for kjønnsforskjeller for eksempel når det gjelder siteringspraksis, sier Røttingen. 

— Overordnet vil jeg si at indikatorer er en viktig del av det totale styringssystemet og kan brukes for å ha en dialog med institusjonene om de leverer i tråd med forventningene. Poenget er at vi bør gjøre den publiseringsindikatoren vi allerede har bedre og mer balansert i forhold til målene, mener han. 

Nord, NMBU og NHH sier ja

Nord universitet stiller seg positiv til innføring av en siteringskomponent i publiseringsindikatoren. «Vi mener dette vil tilføre en kvalitetskomponent i beregning av publikasjonspoeng og imøtekomme noe av kritikken som «tellekantsystemet» har mottatt», skriver Nord i høringsuttalelsen sin til departementet.

Nord universitet mener at en kombinasjon av en siteringskomponent basert på andel av de 10 prosent mest siterte artiklene og relativt siteringshyppighet, som anbefalt av NIFU, er den beste løsningen.

I tillegg anbefaler Nord universitet  å vurdere hvor stor vekt som skal legges på «topp 10», eventuelt utvide dette til «topp 50».

NMBU er positive til en modifisering av publiseringsindikatoren med en siteringsindikator fordi dette er med på å rette fokus fra kvantitet til kvalitet, skriver Mari Sundli Tveit i høringsuttalelsen. 

NHH mener at forslaget fra NIFU er godt begrunnet. NHH stiller seg bak forslaget, og er positive til at oppmerksomheten rettes mot egenskaper ved vitenskapelige artikler som oppnår særlig innflytelse og gjennomslagskraft i forskningen, skriver rektor, Frøystein Gjesdal i høringssvaret fra NHH.

NTNU og UiB sier tja

NTNUs prorektor Kari Melby skriver i høringsuttalelsen at utredningen begrunner godt hvorfor siteringer kan være en indikator på kvalitet, selv om det ikke er en direkte sammenheng og viser til at siteringer også er det vanligste indirekte målet på kvalitet i internasjonale sammenligninger.

(Foto: NTNU)

«NTNU er ikke fremmed for å diskutere hvordan siteringer kan innlemmes i et nasjonalt belønningssystem for forskning, men mener det fortsatt gjenstår mye arbeid for å lage en modell med samme gyldighet for alle vitenskapsområder», kommer det fram i høringen.

Universitetet i Bergen viser til flere problematiske områder for en siteringsindeks. Prorektor Anne Lise Fimreite viser blant annet til at det aritmetiske gjennomsnitt for skjevfordelinger, slik som foreslått for siteringsindikatoren er et omstridt mål for å bestemme hvor ofte et fagmiljø er blitt sitert.

«De få mest siterte artiklene presser snittet opp, mens den lange halen av sjelden siterte artikler presser det ned. Her er det prøvd mange måter for å komme rundt problemet, h-indeksen og prosentiler eller begrensning til de 10 mest siterte artikler (se forslag a) i utredningen) er tre eksempler. Alle løser kun deler av problemet samtidig som de introduserer nye», heter det i høringsuttalelsen fra Bergen.

(Foto: På Høyden)

Universitetet i Bergen konkluderer likevel med at de vil imøtese bruken av en siteringsindikator parallelt med publiseringsindikatoren, men tar et viktig forbehold:

«UiB støtter imidlertid ikke forslaget om at den kan inngå i en finansiell fordelingsnøkkel».

HVL og HSN sier neitakk

Rektor ved Høgskolen i Sørøst-Norge er også skeptisk til den foreslåtte indikatoren: «Dersom indikatoren innføres vil den svekke uttellingen i RBO (resultatbasert omfordeling red.mrk) for høgskoler og universiteter med en mer entreprenøriell, anvendt, profesjonsorientert, arbeidslivsrettet og praksisnær forskning. Det synes ikke å være i tråd med nasjonal forskningspolitikk», skriver han.

Høgskulen på Vestlander mener det et er en utfordring at mye av den forskningen som publiseres ikke siteres, og kanskje får liten oppmerksomhet og samfunnsmessig anvendelse. Høgskulen på Vestlandet er allikevel skeptiske til om en siteringsindeks vil stimulere til mer forskning av høyere kvalitet, og vil ikke anbefale innføringen av denne, skriver rektor Berit Rokne.

BI bekymret for de unge

Handshøyskolen BI mener at det ligger en risiko for at forskere kan begynne å forske innen «populære tema» hvor det er etablert mange tidsskrifter og mange forskere er involvert. «Dersom forskere bevisst sikter seg inn mot forskning som blir høyt sitert (og som dermed reflekterer både populære tema og høy kvalitet) kan dette i prinsippet styre forskningen og redusere forskningens frie natur», skriver prorektor Ulf H. Olsson i BIs høringsuttalelse.

BI peker også på det de mener kan være en uheldig sideeffekt av innføring av en siteringsindikator: Denne kan svekke/forsinke karriereutviklingen til unge forskere. «Bl anbefaler at Kunnskapsdepartementet sørger for at unge, talentfulle forskere ikke blir urettferdig rammet av disse forslagene», heter det i uttalelsen.

De unge er ikke bekymret

Akademiet for yngre forskere er ikke bekymret, men stiller seg positive til en siteringsindikator. De ønsker også at denne skal utvides slik at den også gjelder hamnistiske og samfunnsvitenskapelige fag:

«En utelatelse av HumSam-fagene fra siteringsindikatoren vil være med på underbygge en idé om at disse bare består av enkeltforskere som skriver monografier. Faktum er at mange forskere (særlig yngre) i HumSam-fagene i større grad arbeider i forskergrupper, skriver artikkelbaserte doktorgrader og samarbeider i tverrfaglige konstellasjoner. Det vil alltid være forskjeller i siteringspraksis mellom enkeltfag, men det betyr ikke at siteringer ikke er viktig også i HumSam-fagene. Derimot er publikasjonssyklusen lengre i noen fag, noe som gjør at siteringene kommer senere. Dette kan man løse ved å benytte lengre tidsvinduer i beregningene, f.eks. 5 år eller 10 år», skriver Akademiet. De ønsker også at indikatoren skal tilpasses de mindre høgskolene som er unntatt fra forslaget. 

UiT fra ja til nei

UiT har i tidligere høringer vært positiv til innføring av en siteringsindikator som et insentiv til forskningskvalitet, og som en erstatning av nivåinndelingen mellom publiseringskanaler, men nå har de skiftet mening:

«..UiT (er) overveiende negativ til at det innføres en ny siteringsindikator etter den modell som er foreslått i rapporten. Vi mener at innføring av en siteringsindikator vil medføre en mindre transparent og mer kompleks indikator, samt kreve økte administrative ressurser uten at det er godtgjort at det vil gi et bedre resultater enn dagens modell når det gjelder hovedformålet «å stimulere til mer forskning av høyere kvalitet». UiT ønsker ikke nye endringer av den nasjonale publiseringsindikatoren, og især ikke når forslaget om å innføre en siteringsindikator ikke er ment å skulle erstatte nivåinndelingen for publiseringskanaler», heter det i uttalelsen fra UiT, signert av universitetsdirektør  Odd Arne Paulsen.

NSO, UHR og Forskerforbundet sier nei

NSO understreker at det er bra med insentiver som fremmer kvalitet innenfor akademia, og ikke minst innenfor vitenskapelig publisering. Men vi må stille spørsmål om en siteringsindikator faktisk er et mål på kvalitet, og om den vil fremme kvalitet fremover. NSO ønsker ikke en indikator som skissert. 

Universitets- og høgskolerådet som er interesseorganisasjonen for landets universiteter og høgskoler sier nei til siteringsindkatoren: «Det bør ikke innføres en siteringskomponent i budsjettene til universitets- og høgskolesektoren. UHR mener imidlertid det kan være gode grunner å gjennomføre årlige siteringsanalyser og publisere resultatene, men foreløpig uten å knytte resultatene til finansieringen av institusjonene», skriver styreleder Vidar Haanes og generalsekretær Alf Rasmussen.

Forskerforbundet sier også nei til indikatoren og mener det vil være svært krevende å bygge et system som kan ivareta sitering på en god måte.

(Foto: Forskerforbundet)

«Utvalget viser selv til at en siteringsindikator har åpenbare svakheter ved at siteringer blant annet ikke dekker HUMSAM-fagene på en god måte, at den vil være lite relevant for mindre institusjoner, at det vil være er stor tidsforsinkelse mellom publiseringstidspunktet og siteringene og at den vil være vanskelig å operasjonalisere. (…) Forskerforbundet tror ikke at et enda mer finjustert måleinstrument er den rette medisinen for å heve forskningskvaliteten», skriver leder Petter Aaslestad og generalsekretær Hilde Gunn Avløyp.