Tellekanter dårlig tilpasset profesjonsfag

En interessant debatt om tellekantene har startet på HiOA-veven. Under vår lokale TV-debatt om universitetssatsingen sendte jeg inn denne kommentaren: «Tellekantsystemet er dårlig tilpasset profesjonsfagene. Jeg har prøvd å få i gang en diskusjon om dette ganske lenge – sist i en kronikk i Forskerforum for noen dager siden.»

Jeg fikk en hyggelig kommentar fra prorektor Frode Eika Sandnes. I etterhånd skrev Frode litt mer om (bl.a.) tellekantene. Jeg følger opp her: Takk for at du tar min vurdering av tellekantsystemet på alvor. Da er det mulig å få en mer kunnskapsbasert debatt om denne delen av styringssystemet. Du skriver:  «Til tross for at tellekantsystemet er langt fra perfekt gir det samlet statistisk sett en indikasjon på tilstanden og det reelle bidraget.»

Tellekantene har blitt en helt sentral styringsparameter for høgskolen. Vi er innstilt på å bruke svært mye tid, penger og oppmerksomhet på å heve antall publiseringspoeng per faglig årsverk til 0,8 i 2015. Da synes jeg det er rimelig å kreve at styringsindikatoren ikke bare gir en slags indikasjon, men at den gir et ganske presist og dekkende bilde av det vi faktisk ønsker å måle.

Alle er enige om to ting. Det ene er at forskningspublisering ikke er et gode i seg selv. Hvis publikasjonene ikke blir lest og tatt i bruk, bidrar de ikke til fagets utvikling. For det andre er ikke publisering det eneste fagfolk bør bruke tid på. At vi må undervise, er selvsagt. Men vi bør også engasjere oss i praktisk og pedagogisk utviklingsarbeid, i samarbeid med offentlige og private aktører, i innovasjon og entreprenørskap, i formidling og internasjonalt samarbeid, osv., osv.
Det jeg ønsker å måle når det gjelder FoU er vårt bidrag til profesjonsfagenes praktiske og teoretiske kunnskapsutvikling. Publiseringspoengene er en indikator som tar sikte på å måle kunnskapsproduksjonen innenfor akademisk forskning.  «Kunnskapsmåling» (informetri, scientometri) er en krevende disiplin.  Det jeg hevder, er at tellekantene gir et skjevt bilde av forskningsinnsatsen samtidig som indikatoren er blind for utvikling og innovasjon i praksisfeltet. Dette slår særlig sterkt ut i de kortere profesjonsfagene.

Så vidt jeg kan se har de som har utviklet tellekantene aldri undersøkt denne problemstillingen. Alle fag skjæres over samme kam: «Any customer can have a car painted any colour that he wants so long as it is black (Ford, 1909)».

Prorektor Frode Eika Sandnes skriver: «Ta for eksempel en tidsskriftartikkel på nivå-2. Den er antatt av tidsskriftet igjennom en kvalitetssikrende og silende fagfellevurderingsprosess som sier noe om at arbeidet holder en viss kvalitet og gir et visst bidrag til verdens kunnskap.»

Alle vurderingssystemer, uansett hvor dårlige de er, sier noe. Det eneste unntaket er vurdering ved terningkast. Spørsmålet er ikke om indikatoren har en viss sammenheng med det vi ønsker å måle, men om sammenhengen er sterk og tydelig nok. Også et dårlig kompass peker i nordlig retning. Men skal vi bruke noen titalls millioner på å styre høyskoleskipet i riktig retning, trenger vi bedre instrumenter enn dette.

Prorektor Frode Eika Sandnes skriver: «Det at fagmiljøene (igjennom de nasjonale fagrådene) har rangert tidsskriftet til nivå-2 sier noe om at de ser på dette som en spesielt viktig kanal som representerer den 20 prosent delen av det ypperste innen feltet.»

Det er vanskelig å diskutere dette for alle fag under ett. Jeg holder meg til profesjonsfagene. Jeg har prøvd å se på hvordan systemet virker innenfor bibliotek- og informasjonsfaget. Her holder de nitten tidsskriftene på nivå 2 høy akademisk standard – men de er tungt tilgjengelige og blir nesten ikke lest av praktiserende bibliotekarer. Innholdet er sjelden direkte relevant for praksis.

De fleste av våre publiseringspoeng kommer fra tidsskrifter på nivå 1. Her kan bibliotekarene velge mellom hundre og åtti tidsskrifter. Bare en håndfull har artikler på norsk, svensk eller dansk. Mitt inntrykk, fra epostlister, blogger, bransjetidsskrifter og egen kursvirksomhet i miljøet, er at denne litteraturen har svært liten betydning for bibliotekarenes løpende praksis. Koplingen mellom forskningsartikler og praksisfelt er lite utviklet.
Jeg har diskutert dette mer utførlig, med konkrete eksempler, i en artikkel fra 2003.

Hvor verdifullt er dette? Prorektor Frode Eika Sandnes skriver: «Vi vet at det er mange feilkilder og store variasjoner, men statistisk sett fra institusjonsnivå gir tellekantsystemet informasjon av verdi.» 

Dette virker veldig vagt og uforpliktende. Hvor mye verdi? Hva slags verdi? Hvilke konkrete eksempler vil du vise til? Er disse eksemplene rimelig representative for dagens situasjon? Hvis vi sammenlikner likeartede institusjoner, kan dette være riktig (men det bør undersøkes og begrunnes). Men  sammenlikninger på tvers av institusjonstyper blir neppe holdbare. Fra 2004 til 2010 økte publiseringen ved Universitetet i Bergen med 30 prosent. Det er jo respektabelt. I samme periode økte publiseringen ved den tidligere høyskolen – nå Universitetet i Stavanger med 300 prosent. Hvordan er det mulig? Er dette verdifull informasjon?

Siden tellekantsystemet slår svært ulikt ut for ulike fag, vil dette også slå ut på institusjonsnivå. Dette dreier seg, kan vi si,  om fordelingen av FoU-innsats på henholdsvis F og U.  En profesjons- og praksisrettet høyskole vil normalt drive med mye utviklingsarbeid og pedagogisk produksjon som ikke gir publiseringspoeng. U i seg selv teller ikke. Skal vi konkurrere med typiske forskningsinstitusjoner, der F dominerer, må vi enten flytte ressurser fra U til F, det vil si redusere utviklingsarbeidet, eller gjøre mer F i tillegg til det vi gjør i dag.

Dessuten må jeg nevne at det er farlig fristende å bruke tellekantene på nivåer under institusjonen, det vil si på fakulteter, institutter, grupper og individer. Ved HiOA har folk forlengst begynt å diskutere og sammenlikne poengproduksjonen ved ulike studiesteder (Kjeller versus Oslo), ulike fakulteter (samfunnsfag på topp …), institutter (hurra for journalistene!) og for enkeltpersoner (Rune Ottosen – som selv er kritisk til systemet – toppet listen!).
Ingen ser ut til å si fra dette er ukorrekt bruk av tellekantene.

Systemet sniker seg også inn i beslutningsapparatet. Ved fakultet for samfunnsfag  blir publisering innenfor tellekantsystemet brukt til å fordele FoU-tid. Khrono skrev om dette:

«Fakultetsstyret ved SAM har vedtatt nye regler som betyr at det blir stilt krav om resultater for at de faglig tilsatte skal få beholde tiden de kan bruke på forskning (FoU-tid). En professor ved fakultetet må publisere i tre tellende vitenskapelige publikasjoner på tre år for å få lov til å bruke 45 prosent av arbeidstiden på forskning. En førstelektor eller førsteamanuensis kan bruke 35 prosent av arbeidstiden på forskning mot å ha to tellende publiseringer på tre år, mens en høgskolelektor får bruke 25 prosent av tiden mot å publisere en gang i løpet av tre år. Dekan Dag Jenssen understreker at dette er minimumskrav og at fakultetets forventninger er høyere. I saksframlegget til styremøtet står det at en tilsatt i førstestilling forventes å publisere tilsvarende 1,5 publikasjonspoeng per år.»

Den eneste måten å få tilstrekkelig tid til Utviklingsarbeid, er altså ved å levere Forskningsartikler i stedet for å jobbe med utvikling.

Jeg håper rektoratet og høyskolens ledelse ser at dette er et reelt problem. De metodiske svakhetene skyldes ikke HiOA, men ligger i systemet som helhet. Tellekantene er et lettvint, men misvisende, instrument. Departementet sier: bruk det. Da bør vi svare: vi har sterke faglige innvendinger og ber om en faglig begrunnelse.

Jeg ser fram til neste runde i denne debatten.

(Innlegget er første gang publisert i Tord Høiviks blogg Plinius)