Civita: Tellekantene brukes for å vurdere individer, stikk i strid med målsettinger

Civita har våren 2019 foretatt en mindre undersøkelse der de har spurt rektorer og instituttledere om deres holdning til hvordan forskning blir vurdert, når man skal ansette folk eller gi noen opprykk.

Undersøkelsen ble presentert på et frokostmøte i samarbeid mellom Nytt norsk tidsskrift og tankesmien Civita. I panelet satt forsknings- og høyere utdanningsminister, Iselin Nybø, professor ved OsloMet og Civita, Torkel Brekke og Katerini Storeng, som er leder for Akademiet for yngre forskere.

— Bruker man fortsatt tellekanter på individnivå?

Civita skriver at deres mål for undersøkelsen var å undersøke om instituttlederne bruker kvantitative mål på forskningskvalitet på en uansvarlig måte, spesielt innen samfunnsfag og humaniora, slik den danske forskeren Kaare Aagaard beskrev i sin artikkel fra 2015, How incentives trickle down: Local use of a national bibliometric indicator system.

Sammen med andre danske forskere fra Aarhus universitet var Aagaard med på å evaluere den norske publiseringsindikatoren i 2013/2014. Artikkelen er basert på rapporten fra den gang.

Se også: Civita sitt notat om undersøkelsen

Nytt norsk tidsskrift Akademia i endring

31 ledere svare om bruk av tellekanter

Totalt har Civita snakket med 31 ledere. 20 av dem er instituttledere, hvorav 17 er hentet fra samfunnsvitenskap og humanistiske fakulteter, og fra følgende institusjoner BI, NTNU, OsloMet, UiA, UiB, UiS og UiT.

11 av 18 forespurte rektorer svarte på spørsmål. Samtlige understreker at ansettelses- og opprykksreformer i Norge trenger en reform.

Alle instituttledere fortalte at de bruker sakkyndige komiteer med både eksterne og interne forskere. Komiteen får tilsendt CV, søknad og liste over publikasjoner. Komiteen presenterer så en liste med kompetente søkere til instituttledelsen. Noen ganger er den rangert, andre ganger ikke.

Civita forteller at de stilte et åpent spørsmål - om instituttlederne vurderer kvaliteten på forskningen til de fast ansatte forskerne. 10 stykker svarte at de ser på hvor forskerne publiserer når de vurderer deres innsats, mens andre sa de ser mer på antall og hyppighet.

Så spurte Civita: «Er tellekantsystemet et verdifullt redskap i vurdering av kvalitet på forskningen til de fast ansatte?» Svarene fordelte seg slik: Ja: 3, Ja, med forbehold: 9, Kvalitetsmål kun for instituttet som helhet: 3 og Nei: 5.

Civita spurte også om instituttledelsen benytter publikasjonspoeng for å vurdere forskere i forbindelse med vurdering av lønn, forskningsmidler, forskningsfri og annet.

Også her svarer instituttlederne variert. 5 krysser av på svaret: Ja, i generell vurdering av innsatsen til forskerne. 2 krysser av på ja, i vurdering av lønnsendringer. 7 krysser av for å vurdere tildeling av forskningsfri og midler, 4 sier nei og 2 har ikke svart eller sagt noe annet.

Rapport om norske tellekanter fra 2014

Den norske tellekantsystemet ble evaluert i 2013 og rapporten ble lagt fram i januar 2014. Det var den gang ti år siden den norske publiseringsindikatoren ble vedtatt. Danske forskere ved Universitetet i Århus fikk i oppdrag fra Universitets- og høgskolerådet (UHR) å evaluere indikatoren, populært kalt «tellekantsystemet».

Les også: Her er rapporten fra de danske forskerne

Rapporten viste at de hadde vært en vekst på 90 prosent i norsk publisering av forskning i perioden, og de mener at noe av veksten må tilskrives innføringen av indikatoren. Rapporten viser i tillegg at kvaliteten på forskningen ikke har sunket, men heller ikke økt.

De danske forskerne anbefaler i rapporten at man ikke innfører flere nivåer i systemet. De peker på at den lokale bruken av indikatoren er meget forskjellig, og de anbefaler en stor innsats for å gjøre bruken av systemet lokalt mer enhetlig.

Civita bekymret for sine funn

Notatet om undersøkelsen fra Civita er skrevet av Torkel Brekke, Adrian Netteland og Helene Sommerset Busengdal. De oppsummerer at de mener deres undersøkelse viser at rektorene har forstått at det er grunnleggende problemer knyttet til dagens systemer for vurdering av forskningskvalitet.

En utfordring som også ble adressert da rapporten om de norske tellekantene kom i 2014.

Civita er mer bekymret for funnene de gjør blant de 10 instituttlederne. De mener at svarene de her får viser at disse har en mangel på forståelse for det nasjonale systemet for kvantitativ vurdering av forskning ikke kan brukes på lokalt og individuelt nivå.

De danske forskerne som evaluert tellekantene poengterte jo også at man måtte få en bedre og mer lik håndtering av tellekantene lokalt.

— Det er åpenbart at det kvantitative systemet for vurdering av forskningskvalitet i Norge har hatt uforutsette konsekvenser, og vi er ikke de første som påpeker dette. De kvantitative målingsverktøyene skulle brukes kun på institusjonsnivå, men det er en utbredt bruk på lokalt og individuelt nivå, heter det i Civita-notatet.

— Har tatt tak i mange kritikkpunkter

Vidar Røeggen er sekretær for UHR-Publisering (Det nasjonale publiseringsutvalget), nedsatt av Universitets og Høgskolerådet (UHR).

Han forteller at evalueringen av den norske publiseringsindikatoren fra 2014 pekte på tre viktige kritikkpunkter.

— Evalueringen pekte på at mange opplevde en manglene transparens i forhold til begrunnelser og beslutninger om nivå 2. At disse beslutningene foregikk i lukkede rom som få hadde innsikt i, forteller Røeggen.

Han forteller at UHR tok tak i dette og har etablert egne hjemmesider for Den norske publiseringsindikatoren der alle begrunnelser og vedtak blir publisert åpent.

For det andre trekker Røeggen fram at evalueringen fra Århus Universitet trakk fram at man avdekket uheldige forskjeller mellom fagområder med tanke på hvordan man beregnet publikasjonspoeng, særlig med tanke på ulike tradisjoner for sampublisering.

— Derfor ble indikatoren justert fra budsjettåret 2015, og vi oppfatter at dette punktet også er kvittert ut, sier Røeggen til Khrono.

— Fortsatt utfordringer med individbruk

Det siste kritikkpunktet Røeggen trekker fram er bruken av publiseringspoeng på individnivå ved enkelte av institusjonene. Evalueringen pekte på at poengene anvendes på måter lokalt ved institusjonene som delvis er i strid med de anbefalinger som ligger i forarbeidene til publiseringsikatoren. UHR-Publisering har invitert til seminarer for å diskutere disse spørsmålene og har også vært på besøk hos flere av institusjonene og presentert anbefalinger fra UHR.

— Vi har sett det flere ganger de siste årene der man har kåret de 100 beste forskerne på publisering. dette er en bruk vi svært ugjerne ser, forteller han.

— Indikatoren var aldri ment brukt slik, hverken til å lage kåringslister eller ved ansettelser, vurdering av forskningstid med videre, legger Røeggen til.

Han forteller at UHR-Publisering derfor har utarbeidet en anbefaling der man poengtere hva indikatoren er ment for, og hvorfor en slik individbruk ikke er bra.

— Denne veilederen er vi i disse dager også i ferd med å revidere slik at den også tar opp i seg de nye problemstillingene som er reist blant annet i Plan S debatten, forteller Røeggen.

Se også: Her er anbefalingene fra UHR om indikatorbruk