Offentlig sektor trenger bedre evaluering — Indonesia viser hvordan

Denne teksten er et debatt­inn­legg. Inn­holdet i teksten uttrykker forfatterens egen mening.

Med jevne mellomrom blir omfanget av evaluering i offentlig sektor diskutert. Spørsmålet er da som oftest om det er for mye evaluering. Vi burde heller diskutere hva som er god og dårlig evaluering. I Norad vet vi mer enn de fleste statlige virksomheter om hva god evaluering er. I Direktoratet for forvaltning og økonomistyring sin publikasjonsdatabase er ikke mindre enn hver fjerde registrerte evaluering om nettopp bistand.

Norad er det eneste organet jeg vet om som har evaluert evalueringer. Norads uavhengige evalueringsavdeling har i flere omganger sett på kvaliteten i det vi kaller desentraliserte evalueringer — evalueringer av prosjekter, i kontrast til evalueringer på et mer strategisk nivå. Det nedslående resultatet er at mange av disse er av meget lav kvalitet. Så lav at de ikke egner seg for læring eller til å holde noen ansvarlige.

Debatt ● solhjell, benjaminsen, thorkildsen

Vi vil styrke forskningen i det globale Sør

For to og et halvt år siden sluttet jeg som forsker — etter å ha vært forskningssjef ved PRIO Institutt for fredsforsking — og flyttet til Norad for å jobbe med kunnskap i bistanden. Fakta skal ha makta, sa den da nye Norad direktøren Bård Vegar Solhjell. Fra det arbeidet har jeg tre refleksjoner for hvordan styrke evaluering i offentlig sektor.

Men først. Hvorfor er det så viktig?

Det er viktig fordi vi ofte ikke vet hva som virker og hva som ikke virker, ei heller hvordan det virker og hva som virker bedre, eller er mer kostnadseffektivt, enn andre ting. Når du tenker på det er det egentlig ganske paradoksalt: myndighetene gjennomfører store reformer og inngripende tiltak ofte med begrenset kunnskap om hva effekten faktisk vil være.

Hvis verden hadde vært sånn at de fleste ting funket sånn passe like bra for å oppnå noe så ville ikke det være så farlig. Men sånn er det ikke. På enkelte felt har vi internasjonalt brede gjennomganger som understøtter dette. Blant annet innen helse og, i økende grad, utdanning, viser disse gjennomgangene at på tvers av tiltak er ikke de mest kostnadseffektive tiltakene bare litt mer effektive enn de minst effektive, men ofte er flere ganger mer effektive per krone enn de minst effektive.

Hver krone vi bruker på mindre effektive tiltak kunne vi brukt på mer effektive — hvis noen faktisk setter seg ned og regner på den alternativkostnaden, ville regnestykket blitt ganske nedslående.

Vi må derfor bruke kunnskap når vi planlegger tiltak og så er vi avhengige av at vi evaluerer tiltak på en måte som gjør at vi faktisk lærer noe om det virket eller ikke. Bare sånn kan vi over tid sikre at vi ikke kaster bort penger.

Veldig mye av dagens evaluering sier oss lite om hva vi oppnår, og hva effekten av tiltaket er. Dette siste er nødvendigvis kontrafaktisk, hva ville skjedd hvis vi ikke gjorde det sånn.

Dette gjør vi nå noe med hos Norad. Her tror jeg, med all respekt, det er litt å lære for resten av staten. Interessant nok er dette et område hvor Norad selv har lært en masse av spesielt et land Norge gir bistand til: Indonesia. Siden 2000 har Indonesia mottatt nesten 5 milliarder i norske bistandsmidler. Mye av det knyttet til klima og skogprosjekter. Indonesia har, sammen med fattigdomsforskningssenteret JPAL ved MIT som de to nobelprisvinnerne i økonomi Esther Duflo og Abhijit Banerjee bygget opp, gjennomført en serie grundige eksperimenter for å evaluere effekten av nye velferdsordninger myndighetene der har innført.

Så, til de tre tingene.

Først, evaluering må bruke robuste kvalitative og kvantitative samfunnsvitenskapelige metoder. Altfor mange evalueringer tar i bruk utdaterte kvalitative metoder. Standardmetoden er intervjuer med ekspertinformanter — som strengt tatt ikke er en metode med en datainnsamlingsstrategi.

Dette endrer vi på nå. Vi må kreve at evalueringer bygger på og benytter robuste metoder — kvalitative og kvantitative. Slike metoder må stille klare og skarpe spørsmål som det er mulig å gi gode svar på. Omtrentlige svar på vage spørsmål er et dårlig fundament å bygge en kunnskapsbasert offentlig sektor på.

Debatt ● Andreas Eriksen

Evalueringen av kvalifikasjonsrammeverket: Hva er læringsutbyttet?

Og så må vi i større omfang ta i bruk kontrollerte eksperimenter, metoder som setter oss i stand til å si noe mer konkret om hva vi oppnår og hva som ikke virker etter hensikten. Her viser Indonesia vei. I samarbeid med myndigheter og indonesiske forskningsmiljøer har JPAL gjennomført kontrollerte eksperimenter for å sørge for at velferdsordninger treffer de gruppene de skal treffe, at helsetiltak har den tiltenkte effekten og at skattesystemer leverer hva de lovet. For å nevne noe. Det er ingen grunn til at ikke vi skal eksperimentere med vår egen velferdsstat på samme måte.

Norge har forskningsmiljøene som skal til for å gjøre dette her hjemme. Development Learning Lab, et samarbeid mellom CMI, Universitetet i Bergen og NHH, har erfaring og ekspertise med å gjøre kontrollerte eksperimenter i samarbeid med norske bistandsaktører. Tung ekspertise og erfaring finnes ved Frischsenteret ved UiO, FAFO, FHI og PRIO. Den ekspertisen brukes i dag i utlandet, vi burde bruke den mer hjemme.

For det andre, evalueringer må designes på en måte som gjør at svarene vi får faktisk er nyttige for beslutningstakere. En nydelig konstruert og identifisert studie som konkluderer med noe beslutningstakeren til syvende og siste har lite eller ingen kontroll over er, ganske enkelt, ikke nyttig. Å få til dette er vanskelig, ofte krever det tett kontakt mellom forskerteam og virksomhet. Der reiser seg mange dilemmaer, men det er ingen vei utenom.

For det tredje, det er alltid lett å peke på at vi skulle hatt mer kunnskap. Faren med det er at vi fortsetter å gjøre det vi alltid har gjort, og faller i fellen å kreve et mye tyngre forsvar for å endre noe enn vi krever for å fortsette å gjøre som før. Og vi liker å gjøre som før. Vi må hele tiden prøve ut nye tiltak og vi må være åpne for at noe som har fungert godt under ett sett forutsetninger ikke automatisk gjør det i en ny kontekst, på samme måte som noe kan fungere utmerket som en liten pilotstudie, men viser seg vanskelig å skalere. Det fordrer videre kunnskapsbygging. Vi må insistere på at noe kunnskap er bedre enn ingen kunnskap og at noen tall er bedre enn ingen tall. På samme måte, vi må unngå å gjemme oss bak formaninger om at noe er ‘komplekst’. Kompleksitet er ikke det minste til hinder for evaluering og kunnskapsbaserte beslutninger.

Så vi må kreve god metodebruk, sørge for at vi stiller spørsmål vi kan bruke svarene vi får på til noe, insistere på å måle og tallfeste når mulig og ikke la oss avspore av at noe er komplekst.

Med disse grepene kan vi styrke kvaliteten på evaluering i norsk offentlig sektor. Det vil gjøre at vi får mer og bedre kunnskap om hva og hvordan politikk virker, og når den kunnskapen brukes som utgangspunkt for læring kan vi få mye mer ut av hver skattekrone.

Debatt ● Sveinung Skule og Kristin Vinje

HK-dir og Nokut: Kvalitet er et felles prosjekt