Debatt ● Håvard Mokleiv Nygård

Offentlig sektor trenger bedre evaluering — Indonesia viser hvordan

Evaluering er kritisk for læring og ansvarliggjøring i offentlig sektor. Allikevel er min påstand at mye evaluering i dag ikke treffer. Det kan vi fikse. Vi må bare lære av Indonesia.

Håvard Mokleiv Nygård foreslår tre punkter til hvordan vi kan få til bedre evalueringer i offentlig sektor.
Håvard Mokleiv Nygård
Kunnskapsdirektør Håvard Mokleiv Nygård
Publisert

Denne teksten er et debatt­inn­legg. Inn­holdet i teksten uttrykker forfatterens egen mening.

Med jevne mellomrom blir omfanget av evaluering i offentlig sektor diskutert. Spørsmålet er da som oftest om det er for mye evaluering. Vi burde heller diskutere hva som er god og dårlig evaluering. I Norad vet vi mer enn de fleste statlige virksomheter om hva god evaluering er. I Direktoratet for forvaltning og økonomistyring sin publikasjonsdatabase er ikke mindre enn hver fjerde registrerte evaluering om nettopp bistand.

Norad er det eneste organet jeg vet om som har evaluert evalueringer. Norads uavhengige evalueringsavdeling har i flere omganger sett på kvaliteten i det vi kaller desentraliserte evalueringer — evalueringer av prosjekter, i kontrast til evalueringer på et mer strategisk nivå. Det nedslående resultatet er at mange av disse er av meget lav kvalitet. Så lav at de ikke egner seg for læring eller til å holde noen ansvarlige.

For to og et halvt år siden sluttet jeg som forsker — etter å ha vært forskningssjef ved PRIO Institutt for fredsforsking — og flyttet til Norad for å jobbe med kunnskap i bistanden. Fakta skal ha makta, sa den da nye Norad direktøren Bård Vegar Solhjell. Fra det arbeidet har jeg tre refleksjoner for hvordan styrke evaluering i offentlig sektor.

Men først. Hvorfor er det så viktig?

Det er viktig fordi vi ofte ikke vet hva som virker og hva som ikke virker, ei heller hvordan det virker og hva som virker bedre, eller er mer kostnadseffektivt, enn andre ting. Når du tenker på det er det egentlig ganske paradoksalt: myndighetene gjennomfører store reformer og inngripende tiltak ofte med begrenset kunnskap om hva effekten faktisk vil være.

Hvis verden hadde vært sånn at de fleste ting funket sånn passe like bra for å oppnå noe så ville ikke det være så farlig. Men sånn er det ikke. På enkelte felt har vi internasjonalt brede gjennomganger som understøtter dette. Blant annet innen helse og, i økende grad, utdanning, viser disse gjennomgangene at på tvers av tiltak er ikke de mest kostnadseffektive tiltakene bare litt mer effektive enn de minst effektive, men ofte er flere ganger mer effektive per krone enn de minst effektive.

Hver krone vi bruker på mindre effektive tiltak kunne vi brukt på mer effektive — hvis noen faktisk setter seg ned og regner på den alternativkostnaden, ville regnestykket blitt ganske nedslående.

Norad er det eneste organet jeg vet om som har evaluert evalueringer.

Håvard Mokleiv Nygård

Vi må derfor bruke kunnskap når vi planlegger tiltak og så er vi avhengige av at vi evaluerer tiltak på en måte som gjør at vi faktisk lærer noe om det virket eller ikke. Bare sånn kan vi over tid sikre at vi ikke kaster bort penger.

Veldig mye av dagens evaluering sier oss lite om hva vi oppnår, og hva effekten av tiltaket er. Dette siste er nødvendigvis kontrafaktisk, hva ville skjedd hvis vi ikke gjorde det sånn.

Dette gjør vi nå noe med hos Norad. Her tror jeg, med all respekt, det er litt å lære for resten av staten. Interessant nok er dette et område hvor Norad selv har lært en masse av spesielt et land Norge gir bistand til: Indonesia. Siden 2000 har Indonesia mottatt nesten 5 milliarder i norske bistandsmidler. Mye av det knyttet til klima og skogprosjekter. Indonesia har, sammen med fattigdomsforskningssenteret JPAL ved MIT som de to nobelprisvinnerne i økonomi Esther Duflo og Abhijit Banerjee bygget opp, gjennomført en serie grundige eksperimenter for å evaluere effekten av nye velferdsordninger myndighetene der har innført.

Så, til de tre tingene.

Først, evaluering må bruke robuste kvalitative og kvantitative samfunnsvitenskapelige metoder. Altfor mange evalueringer tar i bruk utdaterte kvalitative metoder. Standardmetoden er intervjuer med ekspertinformanter — som strengt tatt ikke er en metode med en datainnsamlingsstrategi.

Dette endrer vi på nå. Vi må kreve at evalueringer bygger på og benytter robuste metoder — kvalitative og kvantitative. Slike metoder må stille klare og skarpe spørsmål som det er mulig å gi gode svar på. Omtrentlige svar på vage spørsmål er et dårlig fundament å bygge en kunnskapsbasert offentlig sektor på.

Og så må vi i større omfang ta i bruk kontrollerte eksperimenter, metoder som setter oss i stand til å si noe mer konkret om hva vi oppnår og hva som ikke virker etter hensikten. Her viser Indonesia vei. I samarbeid med myndigheter og indonesiske forskningsmiljøer har JPAL gjennomført kontrollerte eksperimenter for å sørge for at velferdsordninger treffer de gruppene de skal treffe, at helsetiltak har den tiltenkte effekten og at skattesystemer leverer hva de lovet. For å nevne noe. Det er ingen grunn til at ikke vi skal eksperimentere med vår egen velferdsstat på samme måte.

Norge har forskningsmiljøene som skal til for å gjøre dette her hjemme. Development Learning Lab, et samarbeid mellom CMI, Universitetet i Bergen og NHH, har erfaring og ekspertise med å gjøre kontrollerte eksperimenter i samarbeid med norske bistandsaktører. Tung ekspertise og erfaring finnes ved Frischsenteret ved UiO, FAFO, FHI og PRIO. Den ekspertisen brukes i dag i utlandet, vi burde bruke den mer hjemme.

Norge har forskningsmiljøene som skal til for å gjøre dette her hjemme.

Håvard Mokleiv Nygård

For det andre, evalueringer må designes på en måte som gjør at svarene vi får faktisk er nyttige for beslutningstakere. En nydelig konstruert og identifisert studie som konkluderer med noe beslutningstakeren til syvende og siste har lite eller ingen kontroll over er, ganske enkelt, ikke nyttig. Å få til dette er vanskelig, ofte krever det tett kontakt mellom forskerteam og virksomhet. Der reiser seg mange dilemmaer, men det er ingen vei utenom.

For det tredje, det er alltid lett å peke på at vi skulle hatt mer kunnskap. Faren med det er at vi fortsetter å gjøre det vi alltid har gjort, og faller i fellen å kreve et mye tyngre forsvar for å endre noe enn vi krever for å fortsette å gjøre som før. Og vi liker å gjøre som før. Vi må hele tiden prøve ut nye tiltak og vi må være åpne for at noe som har fungert godt under ett sett forutsetninger ikke automatisk gjør det i en ny kontekst, på samme måte som noe kan fungere utmerket som en liten pilotstudie, men viser seg vanskelig å skalere. Det fordrer videre kunnskapsbygging. Vi må insistere på at noe kunnskap er bedre enn ingen kunnskap og at noen tall er bedre enn ingen tall. På samme måte, vi må unngå å gjemme oss bak formaninger om at noe er ‘komplekst’. Kompleksitet er ikke det minste til hinder for evaluering og kunnskapsbaserte beslutninger.

Så vi må kreve god metodebruk, sørge for at vi stiller spørsmål vi kan bruke svarene vi får på til noe, insistere på å måle og tallfeste når mulig og ikke la oss avspore av at noe er komplekst.

Med disse grepene kan vi styrke kvaliteten på evaluering i norsk offentlig sektor. Det vil gjøre at vi får mer og bedre kunnskap om hva og hvordan politikk virker, og når den kunnskapen brukes som utgangspunkt for læring kan vi få mye mer ut av hver skattekrone.

debatt evaluering håvard mokleiv nygård offentlig sektor norad indonesia meninger
Siste fra forsiden:

Kortnytt

  • Vil ha sjukepleie frå hausten 2025

    Hilde Kristin Strand

    Styret ved Høgskulen i Volda vedtok 11. desember at dei ønskjer oppstart av sjukepleieutdanning frå august 2025. I vedtaket heiter det at ein går vidare med planane, men at ein i januar både skal handsama søknad om akkreditering og få ei sak om finansieringsplan.

    Som Khrono har skrive, var både rektor og høgskuledirektør uroa for at prosessen går for fort. I styremøtet understreka begge at dei meiner at det er viktig at ein likevel satsar på august 2025. Dette var styret, etter ein lang debatt, samde om. Det var spørsmål knytt til finansiering og særleg til flytting av studieplassar, som gjorde at styret hadde ein del spørsmål. Høgskulen har ikkje fått eigne studieplassar frå Kunnskapsdepartementet til sjukepleie- og etterkvart vernepleieutdanning, så ein må sjølve finna rom for dette. Det er i første omgang snakk om tjue studieplassar i sjukepleie, i eit deltidsløp.

    — Det er eit sterkt ønske om og stor entusiasme kring, desse studieplassane i samfunnet rundt oss. Me vil få eit forklaringsproblem dersom me utset oppstart, sa Jorunn Sem Fure.

    Ho er dekan ved Avdeling for samfunnsfag og historie, som er dei som skal husa ei eventuell helseutdanning.

    Fure sa i si orientering at både øvingslab og avtalar om praksisplassar er godt i rute.

  • SiN har fått nytt styre

    Joar Hystad

    Stipendiatorganisasjonene i Norge (SiN) har fått nytt styre, som skal tiltre 1. januar 2025.

    Det fremkommer i en pressemelding.

    Karl Henrik Storhaug Reinås ved Institutt for pedagogikk ved Universitetet i Oslo er valgt som ny leder, og overtar dermed roret etter Ingvild Bergom Lunde.

    Resten av det nye styret ser slik ut:

    • Nestleder: Claire Degail, TODOS
    • Myndighetsansvarlig: Kamil Piotr Szura, UiSDc
    • Kommunikasjonsansvarlig: Davit Gigilashvili, DION
    • Økonomiansvarlig: Fei Song, DION
    • EuroDoc Liaison officer: Naheeda Hamza, UiODoc

    Med fornyet fokus fortsetter SiN å fremme interessene til midlertidige vitenskapelige ansatte i Norge, skriver organisasjonen i en pressmelding.

    Ingvild Bergom Lunde er strålende fornøy med at det er nettopp Karl Henrik Storhaug Reinås som overtar stafettpinnen etter henne.

    — Karl Henrik har politisk erfaring og teft, og forstår også viktigheten av å bygge gode relasjoner med medlemsorganisasjonene, melder den avtroppende lederen.

    Her er det nye styret i Stipendiatorganisasjonene i Norge.

  • 34-åring blir NHH-professor

    Elise Lystad

    Ingar Kyrkjebø Haaland (34) blir professor ved NHH, melder høgskolen.

    — Fantastisk gøy. Jeg har jobbet med kolleger i en helt fantastisk forskergruppe på Fair. Og det skal jeg fortsette med. Ingenting stopper opp når du blir professor. Tvert imot. Jeg har mange nye prosjekter som er i gang, sier Haaland.

    Den ferske professoren leverte doktorgraden sin for fem år siden ved NHH, og har siden 2022 jobbet ved NHH. Han er del av forskergruppen Fair ved Institutt for samfunnsøkonomi.

    — Vi har hatt den store gleden av å samarbeide med Ingar siden vi møtte han som student i bachelorkurset økonomi og psykologi for mer enn ti år siden, og er utrolig imponerte over alt han har fått til. Hans forskning er banebrytende for å forstå den økende polariseringen i samfunnet, professor Bertil Tungodden ved Fair.

    I 2023 fikk Haaland 8 millioner kroner fra Forskningsrådet som et av årets unge forskningstalenter. Han ble nylig intervjuet i Khrono og ga sine råd om hvordan man bør bruke ChatGPT.

    Ingar Haaland syns det er fantastisk å bli professor. Tidligere i år ga han Khrono sine tips til god bruk av ChatGPT.

  • Ny direktør ved Arkeologisk museum

    Elise Lystad

    Universitetet i Stavanger (UiS) har ansatt Kristin Armstrong-Oma som ny museumsdirektør ved Arkeologisk museum. hun tiltrer 17. mars 2025.

    — Jeg gleder meg stort til å gå løs på oppgaven. Særlig fordi jeg får med meg et lag med eksepsjonelt flinke folk, blant annet forskere i verdensklasse, sier Armstrong-Oma i en pressemelding.

    Armstrong-Oma er professor i arkeologi og blir den første kvinnelige direktøren på museet siden det åpnet i 1975. Hun har ambisjoner om at museet skal levere høy kvalitet og være relevant for samfunnet rundt oss. Hun har jobbet ved Arkeologisk museum siden 2013.

    — Vi gleder oss til å få Kristin Armstrong-Oma med på laget. Arkeologisk museum skal være en samfunnsaktuell arena, og jeg er sikker på at Armstrong-Oma kommer til å ivareta dette på best mulig måte, sier Mohn.

  • Fastrentene på studielånet går opp

    Elise Lystad

    Fastrentene hos Lånekassen stiger fra 1. januar.

    Dette er fastrentene som gjelder fra 1. januar:

    • 3 års bindingstid: 4,717 prosent (opp med 0,346 prosentpoeng)
    • 5 års bindingstid: 4,611 prosent (opp med 0,403 prosentpoeng)
    • 10 års bindingstid: 4,583 prosent opp med 0,308 prosentpoeng)

    Flytende rente fra nyttår vil være på 5,214 prosent.

    Nye tilbakebetalere får automatisk flytende rente, de som vil ha fastrente må må søke. Det kan gjøres mellom 10.-17.desember for å få den nye fastrenten fra 1. januar. Det er 812.000 personer som betaler tilbake lån til Lånekassen.

  • Sa opp — fikk 4 millioner kroner med seg ut døren

    Joar Hystad

    I oktober 2023 sa rektor ved University of Leeds, Simone Buitendijk (66), opp stillingen sin og forlot universitetet med umiddelbar virkning.

    Med seg ut dørene fikk hun en ekstra kompensasjon på 4 millioner kroner, skriver Times Higher Education (THE).

    I Storbritannia lønnes ledere oftest per studieår, så for studieåret 2023—2024 mottok Buitendijk godt over 6 millioner kroner, selv om hun kun jobbet tre måneder i starten av studieåret.

    Universitys of Leeds' regnskap viser at den tidligere rektoren fikk 2 millioner i ordinær lønn, 2,5 millioner kroner i kontraktfestet sluttpakke og 1,6 millioner kroner som følge av tap av verv, skriver THE, som omtaler den totale utbetalingen som en av de største kjente sluttpakkene i britisk universitets- og høgskolesektor de siste årene.

    Simone Buitendijk har nå fått ny jobb som rektor ved University of Salford. Det er ikke kjent hvorfor hun sa opp, men den nederlandske 66-åringen skal ha vært kontroversiell, og blant annet ha uttalt at hun ønsket å avskaffe tradisjonelle forelesninger i UH-sektoren.

  • «Gutter til helsefag» blir nasjonalt prosjekt

    Joar Hystad

    Ved UiT Norges arktiske universitet har det de siste to årene blitt jobbet ekstra med å rekruttere flere gutter til å velge helsefagutdanninger.

    Pilotprosjektet har hatt navnet «Gutter til helsefag», og har sitt utspring i et oppdrag som UiT fikk fra Barne-, ungdoms- og familiedirektoratet (Bufdir) tilbake i 2022.

    Før helgen la kultur- og likestillingsminister Lubna Jaffera (Ap) frem regjeringens nye likestillingsstrategi, og der kom det fram at «Gutter til helsefag» nå skal bli et nasjonalt og flerårig prosjekt, skriver iTromsø.

  • Gjennomførte sitt største arrangement noensinne

    Joar Hystad

    I helgen var 1700 internasjonale studenter, vitenskapelige ansatte og bedriftspartnere samlet i Bergen da Norges Handelshøyskole (NHH) arrangerte «CEMS annual events og graduation».

    CEMS-skoler kapret blant annet to av de seks topplasseringene på Financial Times’ ferske rangering over de beste handelshøyskolene i Europa. Under CEMS-paraplyen tilbys to grader som kan kombineres med et masterprogram ved den enkelte skole.

    Lørdag ble samlingen rundet av med en høytidelig avslutningsseremoni for nesten 600 masterstudenter i Grieghallen, skriver NHH i en pressemelding.

    Akademisk direktør ved NHH, Jan I. Haaland, uttaler at det er stort å få være vertskap for samlingen i Bergen.

    — Dette har gitt oss en mulighet til å ønske CEMS-kolleger og kandidater fra hele verden velkommen til NHH og Bergen, og å vise frem hva vi har å tilby, både som skole og som by, sier Haaland.

    Det er i 2024 23 år siden sist tilsvarende arrangement ble arrangert av og ved NHH. Årets arrangement er det største som er blitt arrangert ved NHH noensinne.

    Lørdag var det full fest i Grieghallen i Bergen.

Nyeste artikler

Mest lest

Powered by Labrador CMS