Debatt Tanja Strøm og Nils Pharo

Rangeringene må bedømmes kritisk

En internasjonal arbeidsgruppe har definert fire kriterier og vurdert seks internasjonale universitetsrangeringer. Ingen av dem tilfredsstilte arbeidsgruppens standard, skriver artikkelforfatterne.

Artikkelforfatterne advarer mot å lese rangeringer av universiteter ukritisk. Den sist publiserte, fra U.S. News & World Report, rangerte OsloMet på 1238. plass i verden
Artikkelforfatterne advarer mot å lese rangeringer av universiteter ukritisk. Den sist publiserte, fra U.S. News & World Report, rangerte OsloMet på 1238. plass i verden
Publisert

Denne artikkelen er mer enn et år gammel, og kan inneholde utdatert informasjon.

Denne teksten er et debatt­inn­legg. Inn­holdet i teksten uttrykker forfatterens egen mening.

Nok en gang publiserer Khrono en rangering av «verdens beste universiteter». Denne gangen fra U.S. News & World Report. Denne øvelsen er det mange som har glede av å gjøre årlig og det følges gjerne opp med intervjuer med glade og sure rektorer, samt betimelige kommentarer om at slike rangeringer har metodiske problemer og er lite gjennomsiktige.

I den anledning vil vi gjerne framheve et nytt initiativ fra the International Network of Research Management Societies (INORMS). INORMS er en organisasjon som samler organisasjoner for forskningsledere og forskningsadministratorer fra hele verden. Norsk nettverk for forskningsadministrasjon (NARMA) er norsk medlem.

INORMS har satt ned en arbeidsgruppe med deltagere fra 11 land for å sikre meningsfulle og ansvarlige forskningsevalueringer. Et viktig område er å rette oppmerksomheten mot universitetsrangeringene. De har derfor utviklet et sett av kriterier for å vurdere rangeringsmetodene som er i bruk. Kriteriene tok utgangspunkt i eksisterende prinsipper og rammeverk for å evaluere ansvarlig, som Leidenmanifestet og DORA.

Kriteriene er utviklet for å bedømme fire dimensjoner: 1) godt styresett, 2) gjennomsiktighet, 3) måling av det som betyr noe og 4) strenghet. 14. oktober presenterte de en vurdering av seks av de mest innflytelsesrike universitetsrangeringene. Vi har begge deltatt i dette arbeidet, som medlem av arbeidsgruppen (Strøm) og som bedømmer (Pharo).

Seks av de største og mest innflytelsesrike rangeringene ble vurdert: Shanghai Ranking's Academic Ranking of World Universities (ARWU), Times Higher Education World University Rankings (THE), QS Top Universities, U-Multirank, CWTS Leiden Ranking og US News & World Report. Alle dataene som viser ekspertvurderinger og kalibreringer er tilgjengelige fra INORMS nettside.

Radardiagrammet over noen funn innen de fire dimensjonene er gjengitt i figuren under. En score på 100 prosent var arbeidsgruppens forventning, og ved lavere score viser det en manglende oppfyllelse av forventningen. Ingen av rangeringene tilfredsstilte fullt ut arbeidsgruppens standard.

Spidergram som illustrerer de faktiske poengene / total mulig poengsum for hver rangering.
Spidergram som illustrerer de faktiske poengene / total mulig poengsum for hver rangering.

Det ikke er mulig å plassere mangefasetterte enheter på en enkelt skala merket 'Topp' og 'Bunn'. Derfor kan ikke INORMS vurdering direkte benyttes til å rangere rangeringene.

Internasjonaliseringen av høyere utdanning har økt etterspørselen etter verktøy for å vurdere kvaliteten på universitetsprogrammer på en global skala. Og som en del av internasjonaliseringen, og flere krav om at offentlige organisasjoner skal være ansvarlige, effektive og gjennomsiktige, har universitetsrangeringer blitt et verktøy for å vurdere kvaliteten på institusjoner innen høyere utdanning. Rangeringenes økende betydning kan forstås fordi de gir et verktøy for sammenligning mellom institusjoner.

Virkningen av rangeringer er umiskjennelig. De påvirker universitetsledere og potensielle studenter, samt beslutningene tatt av beslutningstakere og investorer. Men hvor viktig rangeringene er for den enkelte institusjon varierer med universiteters finansieringsmodeller, språk, land, fagområder mm.

Arbeidet i regi av INORMS håper vi kan bidra til kritisk refleksjon over verdien av slike verktøy og bidra til mer ansvarlig forskningsevaluering.

Powered by Labrador CMS