Rangeringene må bedømmes kritisk

Denne teksten er et debatt­inn­legg. Inn­holdet i teksten uttrykker forfatterens egen mening.

Nok en gang publiserer Khrono en rangering av «verdens beste universiteter». Denne gangen fra U.S. News & World Report. Denne øvelsen er det mange som har glede av å gjøre årlig og det følges gjerne opp med intervjuer med glade og sure rektorer, samt betimelige kommentarer om at slike rangeringer har metodiske problemer og er lite gjennomsiktige.

I den anledning vil vi gjerne framheve et nytt initiativ fra the International Network of Research Management Societies (INORMS). INORMS er en organisasjon som samler organisasjoner for forskningsledere og forskningsadministratorer fra hele verden. Norsk nettverk for forskningsadministrasjon (NARMA) er norsk medlem.

INORMS har satt ned en arbeidsgruppe med deltagere fra 11 land for å sikre meningsfulle og ansvarlige forskningsevalueringer. Et viktig område er å rette oppmerksomheten mot universitetsrangeringene. De har derfor utviklet et sett av kriterier for å vurdere rangeringsmetodene som er i bruk. Kriteriene tok utgangspunkt i eksisterende prinsipper og rammeverk for å evaluere ansvarlig, som Leidenmanifestet og DORA.

Kriteriene er utviklet for å bedømme fire dimensjoner: 1) godt styresett, 2) gjennomsiktighet, 3) måling av det som betyr noe og 4) strenghet. 14. oktober presenterte de en vurdering av seks av de mest innflytelsesrike universitetsrangeringene. Vi har begge deltatt i dette arbeidet, som medlem av arbeidsgruppen (Strøm) og som bedømmer (Pharo).

les også

Bare en av disse er inne på topp 100 over verdens beste universiteter

Seks av de største og mest innflytelsesrike rangeringene ble vurdert: Shanghai Ranking's Academic Ranking of World Universities (ARWU), Times Higher Education World University Rankings (THE), QS Top Universities, U-Multirank, CWTS Leiden Ranking og US News & World Report. Alle dataene som viser ekspertvurderinger og kalibreringer er tilgjengelige fra INORMS nettside.

Radardiagrammet over noen funn innen de fire dimensjonene er gjengitt i figuren under. En score på 100 prosent var arbeidsgruppens forventning, og ved lavere score viser det en manglende oppfyllelse av forventningen. Ingen av rangeringene tilfredsstilte fullt ut arbeidsgruppens standard.

Det ikke er mulig å plassere mangefasetterte enheter på en enkelt skala merket 'Topp' og 'Bunn'. Derfor kan ikke INORMS vurdering direkte benyttes til å rangere rangeringene.

Internasjonaliseringen av høyere utdanning har økt etterspørselen etter verktøy for å vurdere kvaliteten på universitetsprogrammer på en global skala. Og som en del av internasjonaliseringen, og flere krav om at offentlige organisasjoner skal være ansvarlige, effektive og gjennomsiktige, har universitetsrangeringer blitt et verktøy for å vurdere kvaliteten på institusjoner innen høyere utdanning. Rangeringenes økende betydning kan forstås fordi de gir et verktøy for sammenligning mellom institusjoner.

Virkningen av rangeringer er umiskjennelig. De påvirker universitetsledere og potensielle studenter, samt beslutningene tatt av beslutningstakere og investorer. Men hvor viktig rangeringene er for den enkelte institusjon varierer med universiteters finansieringsmodeller, språk, land, fagområder mm.

Arbeidet i regi av INORMS håper vi kan bidra til kritisk refleksjon over verdien av slike verktøy og bidra til mer ansvarlig forskningsevaluering.

les også

NTNU faller som en stein på internasjonal rangering