Man kan ikke bare telle publikasjoner

Bør antall publikasjoner være styrende for fordeling av forskningsmidler, slik Øivind Strøm foreslår? Ønsker vi å stimulere til forskning av høy kvalitet innenfor de fagområdene høgskolen har ansvar for, vil et slikt system være kontraproduktivt. Sannsynligheten er da stor for at vi vil stimulere til forskning og publisering som ikke har noe å vesentlig å melde, som er uinteressant for andre forskere på feltet og som bidrar lite til fagutvikling.

Les også: Vil ha direkte premiering for publisering

Om man publiserer noe av interesse eller ikke, vises i form av siteringer i andre forskeres publikasjoner. Et eksempel: Den svenske bibliometrikeren Ulf Sandstrøm analyserte publiseringer og siteringer for 151 forskere fra et svensk universitet. Alle forskerne hadde mottatt eksterne forskningsmidler. Analysen baserte seg på i alt 1851 artikler publisert i internasjonale fagfellevurderte tidsskrift i perioden 1998 – 2005. (Sandström, 2007). En artikkels siteringsskåre ble normalisert med utgangspunkt i gjennomsnittlig antall siteringer for artikler i tidsskriftene innen det fagfeltet den enkelte artikkel var publisert i.

Gjennomsnittlig antall publiserte arbeider for forskerne i den aktuelle perioden var 15. Det var forskjeller etter kjønn. Kvinnelige forskerne publiserte mindre enn menn – 11.3 publikasjoner for kvinnene mot 17.2 for mennene. Men de kvinnelige forskernes arbeider skåret høyere enn mennenes med hensyn til kvalitet målt ved normalisert siteringsskåre. «While females are 34 per cent better than world average, males are 27 per cent better only. With twenty-five per cent higher quality on their papers they seem to produce a bit more interesting results for their colleagues. The gender gap in productivity then is transformed into an efficiency gap where female researchers are better off”.

Er det rimelig at forskere som produserer forskning som forskerkollegene finner det verdt å gjøre bruk av, skal straffes når forskningsmidlene fordeles sammenlignet med forskere som produserer flere artikler som i mindre grad leses? Det ville i dette tilfelle blitt resultatet om man skulle følge Strøms modell. Eller som Sandström konkluderer med i en annen artikkel: Noen forskere produserer så mange artikler som mulig, der bare noen få siteres mens mange får null siteringer. Andre venter til de har noe substansielt å melde og produserer færre artikler.  Her er det systematiske forskjeller etter kjønn. (Sandström, 2009). Hvilke av disse publiseringspraksisene bør vi stimulere?

Samtidig er det slik at sammenligning av publikasjoner og siteringer på tvers av fagfelt lett blir som å sammenligne epler og pærer. Siden 1980-tallet har bibliometrikere vært oppmerksomme på betydelige forskjeller i publiserings- og siteringsmønstre mellom ulike fag. Forskere i medisin har for eksempel andre publiseringsmønstre enn forskere i ingeniørfag.  Cellebiologi har helt andre siteringsmønstre enn matematikk. Slike feltvariasjoner må man ta hensyn til. Man kan ikke bare telle publikasjoner. Leidenmanifestet for måling av forskning fra 2014 oppsummerer dette på en god måte. (Se for eksempel her).

Å stimulere til publiseringer er viktig. Men minst like viktig er det å stimulere til forskning og publisering som betyr noe. Hvis ikke blir resultatet det Mats Alvesson i boka The Triumph of Emptiness kaller akademisk illusjonsmakeri for å dokumentere kvalitet og eksellens – en sport som ifølge Alvesson er blitt mer og mer utbredt på høgskoler og universitet med negative konsekvenser for kvaliteten.

Hicks, D, Walman, L, de Rijke, S. and Rafols, I. (2015). Bibliometrics: The Leiden Manifesto for research metrics.  

Sandström, U. (2007). Research quality and diversity of funding: A model for relating research money to output of research. Scientometrics 79(2), 341 – 349.

Sandström, U. (2009). Combining curriculum vitae and bibliometric analysis: mobility, gender and research performance. Research Evaluation, 18 (2), 134 – 142.