Kvifor skal me lure folk til å tru at me kan måle at bistand verkar?

Eit par dagar etter at Norad lanserte evalueringsrapporten «Can We Demonstrate the Difference that Norwegian Aid Makes?» på eit seminar i april 2014, rapporterte Bistandsaktuelt: «Virker bistanden? Det vet vi ikke nok om. Vi måler ikke resultatene systematisk nok til å gi et ordentlig svar på spørsmålet. Resultatkulturen er for svak» (Tømte, 2014).

Sjå: Program for dialogseminar 18. desember om «NORAD og evaluering av utdanningsbistanden»

I bistand er visst folk meir opptatt av å utbetale pengar enn å sjekke «resultatene», i fylgje Bistandsaktuelt, som tilsynelatande har god dekning for påstanden i rapporten. Rapporten er utarbeida av konsulentselskapet itad i samarbeid med Chr. Michelsens institutt. Problemet er ikkje at itad og Bistandsaktuelt slår fast at me ikkje greier å måle resultata av bistand. Problemet er at dei skaper ein illusjon av at det let seg gjere.

Rapporten er full av ord som «results», «Norwegian», «measurement», «management», «evaluation» og «demonstrate», tett fylgt av «evidence», «assessment», «demonstrate» og «technical» . Men om du leiter etter noko som indikerer andre perspektiv, til dømes «samfunn», «fellesskap», «medverking», «innsyn» etc., skal du leite både lenge og grundig:

Sjå: Her er rapporten 

Det er for lite fokus på resultat i bistanden, forklarte statssekretær Bård Glad Pedersen på lanseringa. Det skal det no verte slutt på, for den nye regjeringa vil bruke rapporten til å stille strenge krav om presise målhierarki, måling av resultat og styring. For å få til betre resultat, forklarte Pedersen, må det ei kulturendring til, og den skal kome «frå toppen og ned». Rapporten vil nok bli brukt for alt den er verdt: Det gjeld å stille krav til mottakarane av bistand slik resultata kan dokumenterast. Då må det lagast gode målhierarki med «input», «output» og «outcomes».

Kanskje kunne me spore ei viss uro då Norad fekk sleppe til med sine kommentarar. Det var særleg Ørnulf Strøm, underdirektør for  Avdeling for klima, energi og miljø, som målbar skepsisen. Basert på åtte års erfaring frå Afrika frykta han at krav om slik «resultatstyring» kunne kome i konflikt med ynskje om opne, demokratiske og deltakande prosessar i dei lokalsamfunna og organisasjonane som tek i mot bistand.

Sjølv har eg ikkje noko i mot å telje, dokumentere og rapportere det som er gjort. Tvert i mot, det er naudsynt å evaluere korleis framdrifta har vore samanlikna med dei planane som vart lagde. Eg har fleire gongar hatt ansvar for prosjekt finansiert av Norad, og forstår at rapportar, rekneskap og revisjon er viktige reiskapar. Slik informasjon er avgjerande for at målgruppene for prosjekta skal kunne medverke aktivt til god drift av prosjekta.

Men tilrådingane i rapporten til itad, derimot, er problematisk av fleire årsaker: For det fyrste medverkar den til å forsterke ein illusjon om korleis god utvikling i samfunn kan planleggast, gjennomførast, målast og dokumenterast. For det andre vil slike teknisk-administrative og byråkratiske tiltak som rapporten tilrår, vere til hinder for reell dialog, likeverdig samarbeid og folkeleg deltaking i utviklingsarbeidet - inkludert å definere av kva som er god «utvikling» eller eit godt liv - «el buen vivir». 

Den mangelfulle metode

Rapporten er påliteleg nok innanfor rammene som Norad hadde definert. Den byggjer på intervju, dokumentstudiar og samanliknande analysar til å svare på dei spørsmåla Norad hadde reist. Problemet er rammene som Norad har sett. Norad hadde på førehand definert fem hypotesar som evaluatorane skulle teste.

Dermed vart sjølve undersøkinga allereie frå starten av stengt inne i eit metodologisk grep bygd på eit nokså gamaldags syn på korleis menneskje og samfunn best kan studerast: Den hypotetisk deduktive metoden, nært knytt opp i mot ei logisk positivistisk forståing av samfunn og vitskap. I dette tilfellet vart formuleringa av hypotesar til ei tvangstrøye av eksplisitte og implisitte føresetnader som kanskje førte evaluatorane til pålitelege funn (høg reliabilitet), men ikkje til gyldige resultat (lav validitet). 

Den hypotetisk-deduktive metoden er nyttig, men langt frå tilstrekkeleg for den som skal undersøke samfunn med alle sine normer, verdiar, språk, omgrep, idear, tankar, mentalitet, førestillingar, håp, draumar osb. Metoden sto i norsk tradisjon sentralt i utviklinga av samfunnsvitskapane, særleg på den tida då det var vanleg å hevde at samfunnsvitskapen burde byggjast på metodar henta frå naturvitskapen. Det plar ein igjen knyte til positivismen (eller den logiske positivismen) innanfor vitskapsteorien.

Filosofen Hans Skjervheim var ein av dei fyrste som tok eit oppgjer med dette perspektivet på vitskap og samfunn. Den logiske positivismen og den hermeneutisk deduktive metoden egna seg kanskje for naturvitskap på felt dominerte av kausale mekanismar og naturlover, men ikkje i menneskesamfunnet. «Den som gjennomført inntar det objektive synspunkt overfor andre mennesker, vil ikke lenger oppleve andre som appell eller krav om forståelse, tilslutning medfølelse, men som objekter som inngår i objektive forløp (…)» Østerberg, 2003).

Mange menneskelege erfaringar kan ikkje fullt ut forklarast med teoriar eller undersøkast med hypotetisk deduktiv metode. Den einaste vegen til innsikt i slike erfaringar er gjennom utvikling av gode og presise ord og konsept for å snakke om dei. Skjervheim viste også at ukritisk bruk av teoriar og hypotetisk deduktiv metode kunne få meir alvorlege konsekvensar, i alle fall om folk byrja å tru at teoriar kan forklare samfunnet, slik at alt kan determinerast; det er kanskje ikkje naudsynt å fortelje at Skjervheim var ein sterk kritikar av autoritære regimer av det slaget som regjerte aust for jarnteppet.

Seinare har ei lang rad filosofar medverka til å utvide perspektivet på menneskje og samfunn, og i dag må heldigvis bruk av hypotetisk deduktiv metode i det minste kombinerast med andre metodar for å fange opp verknader av språk, konsept, ideologi, mentalitet, kollektive førestillingar, normer, verdiar og andre fenomen som er sosialt konstruerte, og dermed også omskiftelege og ustabile.

Kvifor er dette viktig for å undersøke utvikling? Tenk på DDR for 25 år sidan, berre månader før muren fall. Har me nokon gong opplevd eit samfunn som har vore så overvaka, undersøkt, målt, vurdert, arkivert og rapportert? Både vestlege organisasjonar (CIA, NSA etc.) og STASI gjorde sitt aller beste for å fange opp den minste potensielle endring. Likevel var det ingen som forstod kva som var i ferd med å skje. Omveltingane i Warszawa-pakta kom like overraskande på Vesten som på Erich Honecker.

Kultur, normer, verdiar, mentalitet osb. er ikkje som stabile strukturar i naturen som kan bestemmast og determinerast med lover. Dei kan heller ikkje utan vidare fangast inn gjennom hypotesar og testing nettopp fordi dei verkar saman med ei rad andre prosessar i samfunnet. Kompleksiteten er stor. Brå skifte er det normale. Også for bistanden gjeld det same problemet. Bistand spelar stort sett berre ei forsvinnande lita rolle samanlikna med andre krefter som er i sving, til dømes lokal og internasjonal handel, lokal tradisjon og politiske prosessar. Dermed vert det ei lang rad krefter som verkar saman i komplekst samspel.

Spørsmål knytte til normer, verdiar, rettferd, likever, likestilling er ikkje perifere for Norad. Dei er tvert i mot sjølve kjernen i mykje av det som Norad arbeider med. Eit døme er Norad sin strategi for å stø urfolk og deira rettar. Til sjuande og sist står og fell ei slik sak på kva haldningar folk har til urfolk og mangfald. Eit anna døme er kampen mot apartheid i Sør-Afrika. Det var materielle tilhøve som gjorde at det kvite mindretalet hadde økonomisk og militær makt til å gjennomføre undertrykking av folkefleirtalet, men samstundes var det også eit spørsmål om haldningar og verdiar.

For Norad er vidare spørsmålet om rettferd mellom kjønna heilt grunnleggande. Synet på kva kvinner kan og bør gjere, har mykje å seie for korleis kvinner må leve liva sine. I alle desse døma heng synspunkt, haldningar, normer og verdiar tett saman med materielle tilhøve. Det vil vere feil å undersøke undertrykking av kvinner, etniske grupper, seksuelle minoritetar etc. utan å sjå på heilskapen som oppstår når alle desse mekanismane verkar saman.

Positivistiske «theories of change»

Men i evalueringsindustrien er det diverre vanleg å redusere kompleksiteten gjennom bruk av forenklande teoriar og som fører til reduksjonistiske metodar. I fylgje Derek Poate, leiar for evalueringsteamet til itad, er det viktig å forankre hypotesar i det som han kalla a «theory of change». Her høyrer me nok ein gong gjenklangen frå den logiske positivismen og hegemoniet til den hypotetisk deduktive metoden. Omgrepet «Theory of change» er no høgaste mote i «bistandsbransjen». Diverre er det stort sett dårleg skjult positivisme.

Lat oss til dømes sjå litt nærmare på definisjonen til The Center for Theory of Change (Center for Theory of Change, 2013), eit senter med svært tette band til store friviljuge organisasjonar: «a Theory of Change defines all building blocks required to bring about a given long-term goal». Her nyttar dei metaforar frå bygningsbransjen – det skaper i kjensle av å legge stein på stein av solid materiale slik at byggverket kan reise seg.

Slike metaforar bygger på og skaper bestemte førestillingar om harde fakta og handfaste årsaker som fører til bestemte effektar. I dette biletet finst det berre systematiske og lovmessige kausale mekanismar som gjev grunnlag for å determinere korleis ein «input» fører til bestemte «outputs» og «outcomes». Ein slik definisjon skaper illusjonen om bærekraftige og stødige strukturar, stein på stein, etasje for etasje, alt bygd på ein trygg grunn av kunnskap og detaljert planlegging. Om det berre var så enkelt!

Eg har etter kvart vore på ein del seminar i regi av Norad om planlegging og drift av samarbeidsprosjekt. Det siste dømet eg kjenner til, var ein innleidd ekstern konsulent som nyleg leverte eit spørjeskjema til små friviljuge organisasjonar på om lag 20 sider, mellom anna med spørsmålet om kva slags «theory of change» organisasjonen heldt seg med.

Vil me verkeleg at små friviljuge organisasjonar med ein eller to i staben skal kaste vekk tida si på slikt? Mi vurdering er at dette forelda vitskapsfilosofiske synet ligg som eit usynleg kraftfelt under det meste av det Norad gjer på dette feltet.

Bistand og kontroll

Spørsmålet er kvifor slike bilete og metaforar på vitskap, samfunn og utvikling trivst så godt nettopp i bistandsbransjen når dei elles har møtt så mykje motbør. Det er ikkje slik at den konservative regjeringa alltid ynskjer seg meir styring og kontroll. Statssekretær i kommunal og moderniseringsdepartementet, Paul Chaffey, forklarte til dømes i Dagens Næringsliv 8.4. at «vi trenger ikkje meir kontroll og fleire styrer» i offentlege etatar. Men i bistanden ser det annleis ut. Diverre trur eg at det står sterke krefter bak.

«Skattebetalarane» vil med absolutt sikkerheit vite at pengane kjem fram og fører til det som dei skal. Den nye regjeringa er i utgangspunktet ikkje berre positivt innstilt til Norad. Norad kjenner nok på presset. Og då er det fristande å snakke det teknisk administrative språket som tilbyr ein illusjon av oversikt, kontroll og tryggleik.

Samstundes er det eit språk og ein tankemåte som konsentrerer makt hjå byråkratar og sakshandsamarar, dei som kjenner tankemåtar, ord og uttrykk. Dei friviljuge organisasjonane vil heller ikkje legge seg ut med korkje Norad eller den nye statssekretæren – det er tryggast å fylle ut skjema for input, output og outcome på den korrekte måten, slik det er forklart i vedlegg på vedlegg.

Det er kort sagt vanskeleg å sjå for seg korleis ein institusjon som Norad skal kunne stå i mot presset om meir detaljplanlegging og kontroll. Då burde ein kunne sette si von til dei eksterne som evaluerer bistand. Men det er fåfengt, som rapporten til Itad tydeleg viser. Her finst altså ingen friske perspektiv eller andre syn på kva utvikling er eller bør vere. Ingen alternative synspunkt på vitskap, måling, korrelasjon og kausalitet.

Den som lurer på kvifor rapporten er så fastlåst i eit einaste dominerande perspektiv, bør lese litt i litteraturlista. Den er ei einaste lang liste med referansar til andre evalueringar av same type, og fortel kva som vert rekna som relevante innspel. Samstundes røper den mykje om kvar slike konsulentteam ikkje ynskjer å hente inspirasjon. Slik sett fungerer evalueringsbransjen meir som eit ekkokammer, ein lyd-forsterkar der den eine kan sitere den andre heilt til påstandar vert til sanning.

I staden må me, som toppidrettsutøvarar, lære oss at me ikkje bør bruke energi på det som me ikkje kan kontrollere, og heller fokusere på det me kan gjere noko med. Me kan legge tilhøva til rette for folkeleg sjølv-organisering. Me kan medverke til læring og god kommunikasjon slik at folk sjølve kan ta styringa. Me kan gjere informasjon og prosessar opne og inkluderande.

itad fekk i oppdrag å teste fem hypotesar. Berre på eit spørsmål fekk Norad «bestått»: Spørsmålet om evaluatorar har god nok kompetanse til å evaluere bistanden. Eg trur nok at det positive svaret her mest av alt er eit uttrykk for evalueringsindustriens eigne interesser. Me treng tvert i mot desperat å bryte grepet denne industrien har fått over Norad og friviljuge organisasjonar. Det hastar å få inn stemmer med eit vidare utstyn over vitskap og samfunn.

Kronikken er første gang publisert i bistandsaktuelt.no (mai 2014)

Kilder:

Center for Theory of Change. (2013). Center for Theory of Change.   Retrieved 05.04.2014, 2014, from 

Tømte, Even. (2014, 06.04.). Mer opptatt av å utbetale penger enn å dokumentere resultater, Bistandsaktuelt. 

Østerberg, Dag. (2003). Skjervheim og kritikken av objektivismen. Skjervheim-forelesning 1997 Sosiologisk årbok (pp. 105 - 125). Oslo: Instituttet for sosiologi.