Behov for koordinering av det norske evalueringsregimet

Denne teksten er et debatt­inn­legg. Inn­holdet i teksten uttrykker forfatterens egen mening.

Evalueringer er et sentralt virkemiddel for å sikre høy kvalitet i forskning og høyere utdanning. Det finnes svært mange, og til dels meget ulike, oppfatninger og meninger om evalueringer. Det er allikevel relativt bred enighet om at evalueringer er nyttige, nødvendige og lærerike, og at de spiller en viktig rolle i kvalitetsutvikling. Likevel er det mange som etterspør endringer i evalueringenes innretning og metodikk, samt større grad av koordinering og forutsigbarhet i evalueringssystemet som helhet.

Les også: Hele rapporten her

I et nytt prosjekt har Proba samfunnsanalyse intervjuet representanter for universiteter, høgskoler, forskningsinstitutter, helseforetak, direktorater, departementer, og også Nokut og Norges Forskningsråd. Vi har spurt dem om hvordan de vurderer tidligere evalueringer, hvordan de bruker evalueringene og hvilke behov de har for evalueringer av kvalitet i forskning og høyere utdanning. Oppdraget er utført for Kunnskapsdepartementet.

I dag gjennomføres evalueringer og andre vurderinger av forskning og utdanning av flere aktører, på mange ulike måter og nivåer. De siste årene har det derfor blitt diskutert hvordan man kan sikre en god og effektiv evalueringspraksis. Kunnskapsdepartementet er nå i gang med et utviklingsprosjekt der de undersøker muligheten for å utvikle et nasjonalt rammeverk for evalueringer. Formålet med utviklingsprosjektet er å sikre effektiv og koordinert evaluering av norsk forskning og høyere utdanning.

les også

Vil beholde evalueringer

Vår undersøkelse viser tydelig at aktørene på feltet mener det er nødvendig med bedre koordinering. Undersøkelsen skal utgjøre et kunnskapsgrunnlag for Kunnskapsdepartementets utviklingsprosjekt, og vi presenterer her våre hovedfunn.

Generelt er aktørene vi har intervjuet relativt fornøyde med både frekvens og omfang av evalueringene som har blitt gjennomført. Det er tydelig at evalueringer innebærer en stor arbeidsbelastning for både faglig og administrativt personale på institusjonene, men at dette i hovedsak oppfattes som rimelig og nødvendig. Så lenge institusjonene ser en klar effekt og nytte av evalueringene, anses ikke belastningen som urimelig.

Når det kommer til innretning og metodikk finner vi delte meninger blant de ulike aktørgruppene. Selv om flere setter pris på sammenligninger (benchmarking) og summative evalueringer, er det likevel mange som etterspør et større fokus på å bidra til institusjonenes utvikling og kvalitetsarbeid. Mange mener at evalueringene svarer godt på hvordan ting står til, men ikke like godt på hvorfor resultatene er som de er.

En type evaluering som ofte fremheves som nyttig og viktig er Forskningsrådets fagevalueringer. Mange av interessentene ønsker en fortsettelse av disse, og at de blir gjennomført på en mer forutsigbar måte med for eksempel faste sykluser på mellom 5 og 10 år.

Vi har også spurt aktørene om hvordan de bruker evalueringer, og hvilke effekter de har. Evalueringer utgjør først og fremst et viktig kunnskapsgrunnlag for mange interessenter. Hva de bruker dette kunnskapsgrunnlaget til avhenger imidlertid av hva slags aktør det er snakk om. De som jobber med forskningspolitikk bruker det i politikkutforming, mens de som arbeider på universiteter og høgskoler bruker det til utviklingsarbeid internt på institusjonene. Andre – som for eksempel fagforeninger og andre interesseorganisasjoner – kan bruke evalueringene til politisk påvirkningsarbeid eller i sitt strategiske arbeid.

Innretningen av evalueringene har også klare effekter på institusjonene, både på organisasjons- og individnivå. Flere aktører peker på at institusjonene må tilpasse seg evalueringenes fokus. For eksempel må institusjoner opprette forskergrupper dersom evalueringer bruker dette som evalueringsenhet. I tillegg vil evalueringenes tolkning av hva kvalitet er legge føringer for institusjonenes kvalitetsarbeid, samt de ansattes forsknings- og undervisningsaktiviteter. Her er særlig de fagansatte selv og fagforeningene opptatt av å utvikle en forutsigbar evalueringspraksis for å skape stabilitet for de ansatte.

De fleste er enige om at evalueringer virker skjerpende på institusjonene og «tvinger» dem til å fokusere på kvalitetsarbeid og -utvikling. De understreker her at prosessen rundt evalueringene er nyttig, og ikke bare resultatet. Forberedelsesfasen, og det å samle inn datamateriale, dokumentasjon og utforme egenevalueringer, skaper gode læringseffekter internt på institusjonene.

Likevel påpeker flere aktører at evalueringene bare er én av faktorene som påvirker kvalitetsarbeidet. Andre viktige faktorer er for eksempel lovverk og forskrifter, internasjonal og nasjonal konkurranse om forskningsmidler og markedskrefter. Sistnevnte gjelder i størst grad for private institusjoner og instituttsektoren.

Selv om evalueringer har betydelige effekter for universiteter og høgskoler og instituttsektoren, Kunnskapsdepartementet og evaluatorene (Forskningsrådet og Nokut), er det stor skepsis til om effektene når spesielt langt utover dette. Enkelte departementer og direktorater vi intervjuet fortalte at de følger med som «interesserte lesere» på evalueringer som dekker deres egne sektorer. I tillegg er arbeidslivsorganisasjoner interesserte når evalueringer berører deres felt direkte. Svært få tror imidlertid at evalueringer når bredere ut enn dette.

Vi har sett at eksisterende evalueringer anses som nyttige. Svært mange av interessentene sier de ønsker flere fagevalueringer, men de er også positive til at det gjennomføres evalueringer som fokuserer på ulike sider ved forskningsproduksjon og undervisning.

Mange påpeker at evalueringene må ta hensyn til de ulike institusjonenes samfunnsoppdrag og roller. Man kan for eksempel ikke nødvendigvis evaluere et stort breddeuniversitet og en mindre, profesjonsrettet høyskole etter de samme kvalitetskriteriene. Det samme gjelder for eksempel et disiplinfokusert universitet og et mer tverrfaglig institutt som har mye oppdragsforskning. Flere etterlyser derfor at man i større grad legger institusjonenes ulike forutsetninger til grunn for evalueringene.

Et av hovedfunnene i vårt prosjekt er at evalueringsregimet, slik det er i dag, oppfattes som uoversiktlig og uforutsigbart. Flere trekker frem at det har kommet flere aktører i sektoren som har utdannings- eller forskningskvalitet som en del av sitt mandat. I tillegg har rapporteringen og tilgangen på bibliometriske og andre kvantitative data økt betydelig. Institusjonene forteller derfor om et uoversiktlig landskap der de opplever et høyt rapporteringstrykk.

Vi har avdekket et opplevd behov for mer koordinering, samordning og forutsigbarhet. Dette innebærer at evalueringer, løpende indikatorer og annen type rapportering må sees i sammenheng med hverandre. Først da kan Kunnskapsdepartementet og evaluatorene identifisere merverdien av evalueringer og utvikle et evalueringssystem som gir nødvendig informasjon for utvikling av forskningspolitikk og -finansiering og samtidig oppleves som nyttig for institusjonene selv. Departementets prosjekt med mål om å vurdere et nasjonalt rammeverk for evalueringer av forskning og høyere utdanning fremstår derfor som både nyttig og betimelig.