Hard kritikk mot lister over tellekanttopper

Studentene Håkon Råen, Stian Reistad Røgeberg og Jon Martin Skranes er utviklerne bak den nye prototypen på en søketjeneste som gjør oversikt over individuelle forskere og deres tellende publiseringspoeng, mer tilgjengelig.

Under veiledning fra informatikkprofessor og tidligere prorektor for forskning ved Høgskolen i Oslo og Akershus (HiOA), Frode Eika Sandnes, har de tre bygget opp søketjenesten i bacheloroppgaven sin ved å bruke den åpent tilgjengelige informasjonen som ligger i forskningsdatabasen Cristin (Current Research Information System In Norway).

Foreløpig er den nye søketjenesten bare en prototype, men den ligger nå offentlig ute for testing. Etter mønster fra MultiRank kan alle gå inn og generere sine egne lister over hvem som har publisert mest av artikler som teller i det norske tellekantsystemet f.eks.

Test her: Søketjenesten

Mange har ment mye

Gunnar Sivertsen er forsker ved Nordisk institutt for studier av innovasjon, forsking og utdanning (NIFU) og hovedarkitekten bak publiseringsindikatoren.

— Lederne må lede, de kan ikke bare telle. Indikatoren er ikke laget for å sammenligne forskere på individnivå. En kan godt bruke den som del av grunnlaget for en medarbeidersamtale, men ikke til å se hva forskeren sitt bidrag har vært, understreket Siversten ifølge Khrono i 2015.

Vi spør Siversten (bildet over) hva han i dag mener om rangering av forskere etter oppnådde poeng i Cristin. Eventuelt hva han mener er galt med det og om hva han mener om rangering av forskere generelt og hvilke kriterier som eventuelt kan og skal brukes.

Før Siversten vil si hva han selv mener trekker han i sitt epost-svar til Khrono fram synspunkter og innspill fra en del andre kilder. Han peker først på at lærestedene i samarbeid allerede har tatt stilling til disse spørsmålene ved en rekke anledninger. Han trekker først fram UHR-rapporten fra 2004 da publiseringsindikatoren ble laget i 2004.

Og han trekker fram et avsnitt på side 59 i rapporten der det blant annet står: «For det andre, og det er ikke mindre viktig, må det understrekes at bibliometrisk statistikk kun kan brukes på denne måten på overordnede nivåer for finansiering av forskning.»

Han trekker også fram at i fjor utarbeidet organer i Universitets- og høgskolerådet (UHR) et eget skriv som handler om bruk av publiseringsindikatoren på lokalt nivå eller for enkeltforskere, og at det der heter: 

«Som hovedregel bør derfor publiseringsindikatoren ikke brukes som et avgjørende beslutningsgrunnlag for budsjett- og ressursfordeling, karriereoppfølging, fordeling av oppgaver, interne ressurser og goder samt i ansettelsessammenhenger. »

og:

«Ren mekanisk bruk av indikatoren frarådes.»

Les også:

• Her er de 100 forskerne som topper tellekantene
• «Jeg elsker det jeg gjør»
• «Jeg har stor lidenskap for faget»

— Handler om ledelse og god etikk

— Bruk av indikatoren på individnivå er ikke bare et spørsmål om god ledelse, men også om etikk. Min forskningsinstitusjon, NIFU, bruker Cristin-data til analyser av norsk forskning. Vi har en skriftlig avtale med CERES som blant annet sier at vi ikke skal publisere data på individnivå og at vi ellers skal ta hensyn til både personvern og forskningsetikk. Ranglistene som Khrono publiserer, er laget ved HiOA uten avtale med CERES, sier Sivertsen.

Veileder for de unge studentene professor Frode Eika Sandnes svarte følgende på spørsmål om Cristin var kjent med deres arbeid:

— Studentene og jeg hadde et meget hyggelig møte med fagmiljøet bak Cristin hvor vi demonstrerte prototypen. Cristin ønsker at andre lager applikasjoner og tjenester basert på Cristin-data og tilbyr derfor et åpent grensesnitt for utviklere, sier han.

Les også: HiOA-studenter utviklet den nye søketjenesten

Sjefen for Cristin, i det som i dag heter CERES, Katrine Weisteen Bjerde, bekrefter også overfor Khrono at de har hatt møtet med studentene og gått gjennom endel fallgruver i deres arbeid.

Bjerde fortalte også til Khrono at Cristin selv er i gang med å lage en egen søketjeneste der de nettopp diskuterer disse spørsmålene som prototypen til HiOA-studentene reiser.

— Dette er jo ikke sensitiv informasjon, men man må vurdere personvernlovgivning opp mot offentlighetsloven blant annet, sier hun.

Etableringen av Cristin i 2010

Sivertsen framhever på sin side at man ikke kan se tilsvarende ranglister i Cristin.

— Dette er gjennomtenkt og basert på beslutninger. I 2008 ledet jeg et arbeid på oppdrag fra Kunnskapsdepartementet som la grunnlaget for etableringen av Cristin i 2010. I rapporten skriver vi at det nye systemet verken eksternt eller internt bør gi mulighet for statistikk og rangering på individnivå, altså den enkelte forsker, sier Sivertsen.

Han legger til at på dette nivået skal det bare kunne tas ut ordinære publikasjonslister.

— Begrensningen vi anbefaler her er i overensstemmelse med forskningsetisk praksis i internasjonal bibliometri.

Han mener dette kanskje forklarer hvorfor den sentrale forskningsadministrasjonen ved HiOA ikke utleverer individstatistikk basert på Cristin-data.

— Begrunnelsen må uansett ha vært kjent ved Institutt for informatikk da de laget Søketjenesten. HiOA er nå i strid med seg selv. Ett sted beslutter man at forskerne ikke skal rangeres, et annet sted beslutter man det motsatte, bemerker Sivertsen.

Han mener hva som er forskningsetisk praksis i internasjonal bibliometri ble enda klarere i 2016 med det såkalte Leiden-manifestet. 

— Der advares det mot bruk av bibliometri på individnivå uten samtidig bruk av fagfellevurdering. Dessuten kreves dokumentasjon av metoden og anledning for forskerne til å verifisere og korrigere sine data. Ingen av disse kravene er innfridd i den nye Søketjenesten, heller ikke i Khrono, understreker Sivertsen.

— Khronos etiske ansvar

Siversten understreker at han så langt har besvart spørsmålene med å henvise til andre dokumenter, men at han også har egne synspunkter:

— Først vil jeg vise at vi ikke kan ha tillit til denne «informasjonen» uansett hva som måtte være formålet med den. Deretter vil jeg vise at det er Søketjenesten og Khrono som har det etiske ansvaret for den handlingen det er å lage og offentliggjøre denne «informasjonen». Den fantes ikke fra før av noe sted i norsk forskning, sier Siversten.

Så trekker han fram at Khrono i 2014 rangerte forskere ved HiOA etter publiseringspoeng. Særlig forskere ved lærerutdanningen toppet listen, men også andre humanister og samfunnsvitere fikk høye poeng.

— Nå har Khrono laget en ny rangering som ikke gir samme resultat. Her er det mer innslag av produktive forskere i medisin, naturvitenskap og teknologi. Begge rangeringer kan ikke være riktige. Den ene må være feil. Har dere tenkt på det? Blir dere ikke usikre når dere tenker på det? Kanskje er begge tellemåter feil? Mannen bak den nye Søketjenesten, Frode Eika Sandnes, har her i Khrono selv kritisert den indikatoren som både han og Khrono nå bruker, spør Sivertsen.

Les også: Hvordan melke nye tellekanter

— Begge tellemåter blir feil

— Begge tellemåter blir uansett feil. I mange forskningsfag, men ikke alle, sier rekkefølgen av forfattere noe om i hvilken grad og i hvilken rolle den enkelte forsker har bidratt til publikasjonen. Dette behøver ikke publiseringsindikatoren ta hensyn til, siden den er laget for å måle forskningsaktivitet på institusjonsnivå, sier Sivertsen og fortsetter:

— Men tar man den ned på individnivå, må man løse dette problemet. Vi vet ikke hvordan det er løst, for hverken Søketjenesten eller Khrono dokumenterer tellemåten. Vi vet heller ikke hvordan Søketjenesten regner ut en persons poeng når flere forfattere og institusjoner bidrar til publikasjonen. Dette er ikke enkelt etter at det er innført kvadratrot på institusjonsandelen. Uten dokumentasjon av metoden kan vi ikke ha tillit til Søketjenesten og ranglistene. Hvis dere dokumenterer metoden, er det ikke sikkert at tilliten øker likevel.

— Bare i Khrono man kan få poeng

— Dere spør om det er «galt å rangere forskere etter oppnådde poeng gjennom Cristin-innføringer». Men ingen norske forskere «oppnår poeng» ved å registrere seg i Cristin. Resultatet er statistikk og bevilgninger på institusjonsnivå, ikke på individnivå. Det er bare i Søketjenesten og Khrono at forskere kan «oppnå poeng», sier Sivertsen og legger til:

— Forskere får heller ikke penger fra Kunnskapsdepartementet. Men i Søketjenesten får jeg vite hvor mye mine publikasjoner er verdt. Jeg forventer at beløpet snart blir utbetalt fra Institutt for informatikk ved HiOA, skriver han.

Sivertsen understreker videre at å gi forskerne poeng, og å rangere dem på denne måten, er en handling som Søketjenesten og Khrono selv må ta ansvaret for.

— Det holder ikke å si at man bare videreformidler informasjon som allerede er der. Det er en grunn til at slike ranglister ikke finnes i Cristin. Dere burde vite det, siden det har vært en diskusjon i sektoren om problemer med bruk på individnivå helt siden indikatoren kom i 2004 og særlig i forbindelse med at den ble evaluert i 2014. Da kvadratroten på institusjonsandeler ble innført i 2015, var ett av de eksplisitte formålene å vanskeliggjøre bruk på individnivå, understreker Sivertsen.

— Man mener en viss konkurranse kan stimulere til mer og bedre forskning, hva burde man ellers tenke på?

— Den som vil bidra til den beste og viktigste forskningen i verden, møter i dag nok konkurranse om midler og oppmerksomhet. Publiseringsindikatoren trengs ikke i tillegg til dette formålet. Det viktigste med publiseringsindikatoren er at den skaper overblikk over og innblikk i landets forskning, også lokalt. Den synliggjør dessuten de som bidrar. Det er unødvendig å lage ranglister over personer for å oppnå dette, svarer Sivertsen.

— Gal bruk av publiseringspoeng

Universitets og høgskolerådet har på oppdrag fra Kunnskapsdepartementet etablert et permanent publiseringsutvalg. Det nasjonale publiseringsutvalget er et nasjonalt utvalg med ansvar for den faglige forvaltningen av System for dokumentasjon av vitenskapelig publisering. Utvalget er formelt knyttet til UHR og rapporterer til UHRs styre. Utvalget ledes av professor Nils Erik Gilhus ved Universitetet i Bergen.

Førsteamanuensis på Høgskolen i Oslo og Akershus, Jorunn Vindegg, representerer lærerutdanning, helse- og sosialfag og økonomisk-administrative fag i publiseringsutvalget.

Vi har spurt Vindegg om hva hun synes om at det blir publisert individdata på de 100 som har generert mest poeng gjennom Cristin-systemet, slik Khrono har gjort.

— Publiseringsindikatoren er ikke designet for å bli brukt på individnivå slik det her er blitt gjort, så når du spør om det er galt å lage slike lister, så blir svaret ja, sier Vindegg til Khrono.

— Men vi vet jo at tall fra Cristin blir brukt lokalt på individnivå med tanke på tildeling av FoU-tid, hvem som får støtte til prosjekter mv. Det skjer altså lokalt og i det stille, kan ikke en offentltiggjøring bidra til mer åpenhet?

— Det er klart og tydelig kommunisert til institusjonene at å bruke tall fra Cristin som du skisserer er dårlig ledelse, og jeg tror ikke at en publisering av de 100 beste bidrar til å redusere utfordringen med at tall fra Cristin brukes på enkelte steder slik du nevner, sier Vindegg, men legger til:

— Som forskere møter vi konkurranse-situasjoner mer eller mindre hele tiden, og det er vi vant til. Det betyr ikke at det er heldig å lage en ny individuell nasjonal konkurransearena ut av publiseringspoeng. Blir det for mye konkurranse forskere i mellom kan vi ende opp i en situasjon med mindre åpenhet rundt våre arbeider, da vi vil holde resultater skjult for hverandre underveis for å oppnå mest mulig publisering selv. En slik utvikling vil jeg se på som svært uheldig.

Store ulikheter mellom fagmiljøer

Hun trekker også fram at man også se store forskjeller fra ulike fagområder med tanke på forfatterskap og delte publiseringer. 

— I noen fagmiljøer blir man sett rart på hvis man publiserer på egenhånd. Det kan eksempelvis være innen medisin og forskning som innebærer laboratoriearbeid der man må være flere som utfører en viktig del av forskningen bak en artikkel, mens fra mitt området sosialforskning kan alenepublisering være mer naturlig, sier hun.

Vindegg understreker med dette at det er svært mange ulike grunner til at noen står med mange poeng og andre med få, og at det nødvendigvis verken sier noe om kvalitet på forskningen til de ulike forskerne, eller hvor mye eller lite de faktisk bidrar med.

Nytt element på indikatoren

På oppdrag fra departementet kom Gunnar Siversten i 2016 med forslag til hvordan publiseringsindikatoren kan utvides for å inkludere kvalitet. Forslaget er å innføre en siteringskomponent, der man måler hvor mye vitenskapelige artikler blir sitert.

Ifølge en artikkel i Uniforum i oktober 2016, gjengitt i Khrono, innebærer forslaget at Universitetet i Oslo er den institusjonen som har mest å tjene på siteringsindikatoren slik den er foreslått. Ifølge et regnestykke Sivertsen har utarbeidet vil UiO tjene 732 poeng. Universitetet i Bergen kommer på andreplass, og tjener 388 poeng.

Sivertsen beskriver i artikkelen at slik systemet er nå, har de mest forskningstunge institusjonene gradvis havnet bakpå, mens høyskoler som har kommet seg opp fra ingen til noen publikasjoner har tjent mye. Han mener siteringsindikatoren kan rette opp i noe av dette. Høgskolen i Oslo og Akershus (HiOA) er de som taper mest i Sivertsens utregning, de vil få 63 poeng mindre enn i dagens system.

Les også: Antall siteringer kan bli en del av tellekantene

Kommer muligens i statsbudsjettet for 2018

Høringsfristen for forslaget om å få inn et siteringslement i publiseringsindikatoren var 1. mars, og meningene på institusjoner er svært delte om det nye elementet i tellekantsystemet.

Les også: Kryssende uenighet om ny indikator for sitering

Vi spør Kunnskapsdepartementet om når det blir avklaring om det blir et nytt siteringselement eller ikke.

— Departementet vil komme tilbake til anbefalingen fra NIFU om en siteringskomponent i publiseringsindikatoren i statsbudsjettet for 2018. Dette står fortsatt ved lag, og det tas sikte på at vurderinger og videre håndtering av saken omtales i budsjettproposisjonen for 2018, svarer avdelingsdirektør Magnus Worren i Kunnskapsdepartementet, 

Motforestillinger i publiseringsutvalget

Jorunn Vindegg i publiseringsutvalget trekker også fram at det er foreslått en ny siteringsindikator som var tenkt inn i tellekantsystemet for å legge et nytt kvalitetsmål på tallene.

— Svært mange har vært negative til denne nye siteringsindikatoren, og vi i publiseringsutvalget spilte inn synspunkter til styret i UHR som var høringsinstans.

Vindegg trekker fram at noen av utfordringene med et slikt siteringselement, er at publisering og sitering har ulik praksis innen ulike fagområder, og man har situasjoner der kanskje menn er flinkere til å sitere andre menn osv. 

— Vi hadde altså en rekke motforestillinger som ble videreformidlet til UHR, sier Vindegg.

Tror ikke departementet tar den i bruk

Vi spør Sivertsen om han tror det nye siteringselementet blir realisert. 

— Publiseringsindikatoren, som jeg var med på å lage i 2003-2004, ville både myndighetene og lærestedene ha. Det er mer usikkert med siteringsindikatoren, som jeg laget forslag til i 2016. Høringsuttalelsene, som dere i Khrono har laget en fin oversikt over, viser at de fleste av lærestedene vil beholde publiseringsindikatoren som den er, uten siteringer. Dette rådet tror jeg departementet vil følge.

— Hvis siteringsindikatoren ikke blir innført, mangler vi da et godt mål på kvalitet?

— Verken siteringer eller måling av publiseringsaktivitet gir et direkte mål på forskningskvalitet. Men slike indikatorer, med tilhørende datagrunnlag, skaper oversikter som gjør det lettere for lærestedene å fremme forskningskvalitet – hvis de brukes på riktig måte, svarer Sivertsen i sine grundig og skriftlige svar til Khrono.