Enn så lenge virker tidsskrift-hierarkiet helt nødvendig

Kjære Dora-forkjempere: Jeg trenger deres hjelp.

Jeg vil gjerne ha gode råd for hvordan en best kan vurdere forskningsartikler.

Det er nemlig min jobb. Og jeg vil så gjerne gjøre jobben bedre og raskere.

For å være helt ærlig kjenner jeg hverken metodene eller litteraturen i de ulike fagfeltene godt nok.

Bård Harstad

Hver uke får jeg en bunke artikler som skal vurderes. Jeg må vurdere om de er korrekte, interessante, viktige, originale, nyskapende, og jeg må gjette på om denne forskningen vil bli sitert om fem år og om tyve år. Dette er viktig, for både politikere og media viser ukritisk til forskning selv om det er kvaliteten som skiller fakta fra «fake news».

Imidlertid er jeg redd for å gjøre en dårlig jobb. For å være helt ærlig kjenner jeg hverken metodene eller litteraturen i de ulike fagfeltene godt nok. Og jeg har dessverre ikke tid til å lese artiklene tilstrekkelig nøye. I tillegg har jeg mine egne subjektive meninger og disse vil nok lett påvirke hva jeg vil klassifisere som «godt» og «dårlig». Jeg er også redd for å bli påvirket av trynefaktoren – jeg mener, om forfatteren er berømt, en bekjent, en konkurrent, eller ved et prestisjetungt universitet.

Har du råd til hvordan jeg kan gjøre jobben bedre?

Enn så lenge har jeg landet på følgende metode.

Siden jeg ikke har all verdens tid selv spør jeg andre til råds. Siden jeg ikke selv kjenner litteraturen eller metodene spør jeg de fremste ekspertene på feltet. For å være sikker på at forskningen også er av allmenn interesse spør jeg i tillegg noen som står litt utenfor akkurat dette forskningsfeltet. Og siden jeg vet at alle og enhver har sine subjektive meninger så spør jeg flere eksperter samtidig, slik at summen av råd blir noenlunde objektiv.

Det er slik fagfellevurderingen fungerer i de beste tidsskriftene.

Fagfelleekspertene foreslår også kvalitetsforbedringer. Forfatterne utbedrer så svakhetene hvis tidsskriftet krever det.

Neste gang er det kanskje du som skal vurdere samme artikkel. Kanskje forfatteren søker jobb eller midler. Kanskje er dere flere i komitéen som har egne og subjektive meninger. Skal dere gå gjennom samme ressurskrevende prosedyre som jeg nettopp gjorde? For alle fem hundre søkere? Må alle gjøre dette?

Råd mottas med takk her også!

Enn så lenge har jeg landet på følgende løsning.

Les også:

UiO-Stølen vil tenke litt sakte om nivådeling i tidsskriftene

Løsningen er at jeg gir artikkelen en «karakter» etter den omfattende prosedyren jeg beskrev over. Når dere så ser karakteren så vet dere umiddelbart utfallet av den omfattende prosessen.

Det er slik tidsskrifthierarkiet er ment å operere.

Systemet er imidlertid ikke perfekt. For det første gjøres fortsatt dobbeltarbeid når artikkelen må sendes til flere tidsskrifter før den blir akseptert. For det andre har vi fortsatt en uklar nivåfordeling mellom noen av tidsskriftene, slik at «karakteren» blir diffus. Det er dette (og ikke det motsatte) som er blant dagens problemer. Men det jobbes med saken: Flere tidsskrifter etablerer nå et hierarki der en kan bruke fagfellevurderingene på nytt, i mer spesialiserte tidsskrifter, dersom artikkelen ikke nådde opp i topptidsskriftet.

Det er mulig Dora-forkjempere har overmenneskelige egenskaper som gjør dem i stand til å finne, lese og vurdere all forskning selv, helt objektivt. For mange virker imidlertid Dora som en utopisk drøm, en oppskrift til trynefaktorer og konflikter, og en dør som lukkes for mindre etablerte forskere når leserne heller ser etter andre kvalitetsstempler – som til Nobelprisvinnere ved prestisjetunge universiteter.

Selv er jeg blant dem som ser sin begrensning.

Det er derfor jeg ber om råd.

Enn så lenge virker tidsskrifthierarkiet helt nødvendig.