Tellekanter og perverse effekter

Det gir naturligvis ikke mening å måle FoU-kvalitet og angi denne med et tall. Å si at en person gjør en bedre FoU-innsats enn en annen fordi den ene har flere tellekantpoeng, blir som å mene at Mozart var en større komponist enn Beethoven ut fra tallene 41-9 i antall symfonier. Ingen musikk-kjenner vil anerkjenne dette som et godt grunnlag for en kvalitetsvurdering.

Evalueringen av tellekantsystemet som kom for noen uker siden forteller at tellekantsystemet fungerer helt greit til sitt bruk – nemlig til å fordele penger fra statskassa til institusjonene. Samtidig påpekes det at det ser ut til å være systematiske ulikheter mellom fagområder, slik at noen fagområder lettere får tellekantpoenger enn andre. Men dette gjør ikke så mye siden alle institusjoner har en god bredde av fagområder representert.

Imidlertid er det, på grunn av slike skjevheter, skummelt å bruke tellekantsystemet på lavere nivå enn institusjonsnivå, og evalueringen vier stor plass til farene ved å bruke tellekantsystemet innad på institusjoner og endog helt ned på individnivå. Evaluatorene advarer mot «perverse effekter» hvis systemet brukes slik. De anbefaler institusjonene å utvikle interne systemer for å unngå disse skjevhetene, og dessuten for å unngå å favorisere forskning på bekostning av utviklingsarbeid og formidling.

Ved Høgskolen i Oslo og Akershus (HiOA) har vi definitivt ikke kommet langt nok i dette arbeidet. Jeg har sett tellekanter brukt som kriterium ved tildeling av penger til «sterke forskergrupper», som jo per definisjon handler om å sammenlikne miljøer i ulike fagområder. På noen fakulteter kan det se ut som at tellekantsystemet er nærmest avgjørende ved tildeling av FoU-tid på individnivå.

Og institutter sammenliknes og vurderes som gode eller mindre gode i FoU-arbeidet ut fra tellekantpoeng. Da står man i akutt fare for å komme bort i de «perverse effekter» som evaluatorene advarer så sterkt mot. Sammenlikning på tvers av fagområder må skje på mer intelligente måter enn dette.

Jeg har til og med hørt om sakkyndige utvalg ved tilsettinger som begrunner sine rangeringer med tellekantpoeng – til tross for at selve poenget med å ha et sakkyndig utvalg er at de selv skal lese og vurdere kvaliteten på det innsendte materialet. Hvis vurdering av søkere skulle bestå i å telle, kunne de sakkyndige utvalg erstattes av en algoritme tilknyttet FoU-registeret Cristin.

Ved Fakultet for lærerutdanning og internasjonale studier (LUI) er vi i ferd med å vedta et nytt system for tildeling av FoU-tid, hvor tellekantene har en sentral plass. Dette har jeg faktisk stemt for i fakultetsstyret. Hvordan kan jeg forsvare dette? Jo, det er to ting som gjør at jeg synes dette er forsvarlig.

Det ene er at tellekantsystemet justeres for å passe bedre til vår egenart. Allerede er det vedtatt at fagfellevurdert kunstnerisk arbeid bør gis uttelling på linje med artikler i tellekantsystemet i LUIs interne system. Dette er viktig og fint. Likevel - man er på ville veier hvis man tror at man kan finjustere tellekantsystemet slik at alle svakhetene blir borte. Tellekantsystemet vil alltid ha den grunnleggende svakheten at det prøver å tallfeste FoU-kvalitet kun ut fra hvor og hvordan ting er publisert, uten at fagfolk ser på det faktiske innholdet i publikasjonene.

Man skal være svært varsom med å bruke et slikt system på individnivå, og slik bruk må alltid suppleres med bruk av faglig skjønn for å unngå «perverse effekter». Som det står i evalueringsrapporten: «I et vist omfang kan indikatoren således gøre det muligt for ledere at gemme sig bag tal og træffe mekaniske beslutninger frem for vanskelige skøn» (s. 98). Denne fristelsen må vi styre unna.

Det andre som LUIs system gjør og som gjør det forsvarlig, er nettopp at det åpner for å gi FoU-tid selv om man ikke publiserer i tellekantsystemet, ut fra en skjønnsmessig vurdering.

Bakgrunnen for systemet som vedtas ved LUI – og som har røtter tilbake til 2011 – er effektivisering. I tidligere tider fantes et system hvor alle ansatte måtte søke om FoU-tid hvert år, og så måtte noen vurdere disse søknadene. Formålet med å innføre et resultatbasert system var å redusere ressursbruken i søknadsprosessen og øke ressursbruken til støttefunksjoner for FoU-arbeid.

Med et enkelt resultatbasert system vil de fleste ansatte aldri behøve å søke om FoU-tid, så søknadsprosessene begrenser seg til de få som ikke har oppfylt tellekantkravene, men som kanskje har interessante prosjekter som gir andre typer resultater. Ved eksplisitt å beholde et skjønnsaspekt i tildelingen av FoU-tid, reduseres ulempene ved å bruke tellekantsystemet.

LUIs system er på ingen måte ferdig utviklet, og mange av detaljene i systemet skal vedtas i april. Ifølge evalueringen av tellekantsystemet har vi en lang vei å gå for å finne gode, lokale løsninger, men vi er i gang med arbeidet og med å samle erfaringer – på vei mot et system som både kan ha legitimitet og effektivitet – og færrest mulig «perverse effekter».

PS: Da jeg brukte Mozart- og Beethoven-eksemplet mitt i fakultetsstyret på LUI, fikk jeg ros for at jeg i hvert fall la lista høyt nok når det gjelder hvem vi skal sammenlikne oss med…