Dette har vi lært av å behandle 3.667 søknader

Stiftelsen Dam (tidligere ExtraStiftelsen) deler årlig ut cirka 300 millioner kroner til små og store helseprosjekter i regi av frivillige helseorganisasjoner. Pengene kommer fra Norsk Tipping og det følger et stort ansvar med å dele ut tippemidler. Derfor tar vi kvalitetssikringen av tildelingsprosessene våre på største alvor. En viktig del av dette arbeidet er å se etter uønskede skjevheter (bias) i vurderingen av søknadene vi mottar.

Er det for eksempel slik at søkerens kjønn spiller en rolle for hvor ofte søknadene innvilges? Får store, mektige aktører lettere innvilgelse enn de små? Hvor enige er egentlig de som vurderer søknadene? Og har søknadssummen noe å si for innvilgelsesandelen?

Etter å ha analysert 3.667 søknader vi har mottatt i tilskuddsordningen Helse, har vi noen svar.

David mot Goliat

En tilbakevendende bekymring knyttet til Stiftelsen Dams tildelinger er at store organisasjoner lettere får gjennomslag enn mindre organisasjoner, blant annet fordi de har mer erfaring med å skrive gode søknader og fordi de kan hente inn hjelp til å utforme dem.

En måte å undersøke dette på er å se om små organisasjoner innvilges få søknader sammenlignet med hvor mange søknader de sender inn. Dersom de har en større andel av søknadene enn av innvilgelsene, kan det være et tegn på at bekymringen er berettiget.

Vi har sett på sammenhengen mellom organisasjonenes størrelse, målt i både driftsinntekter og medlemstall, og innvilgelsesandelen, men finner ingen systematiske forskjeller.

Gjør øvelse mester?

Et spørsmål som likner mye på det over, er om organisasjoner som sender mange søknader får høyere uttelling. Det kan tenkes at de som sender mange søknader, blir ekstra drevne og som følge av dette oppnår høyere innvilgelsesandel. Eller at de som sender mange søknader er store organisasjoner, som i større grad enn de mindre, bruker profesjonelle søknadsskrivere.

Vi finner ingen tegn til dette. Analysene viser også at det ikke er noen sammenheng mellom antallet søknader og innvilgelsesandelen. De fem organisasjonene som har sendt flest søknader har i snitt sendt 183 søknader hver, mens de 105 som har sendt færrest søknader i snitt har sendt 2,6 søknader. Likevel har de hatt nøyaktig samme innvilgelsesandel (20 prosent).

Søknadssum

Mange søkere lurer nok på om de som skal vurdere søknadene oppfatter søknadsbeløpet som for høyt eller ikke. Vi har undersøkt dette ved å se om gjennomsnittssummen for søknadene skiller seg vesentlig fra gjennomsnittssummen for innvilgelsene.

Det gjør den. I snitt ble det søkt om 452.000 kr, mens blant prosjektene som ble innvilget var søknadssummen 411.000 kr. Denne forskjellen er betydelig og statistiske analyser viser også at den er signifikant.

Den samme tendensen er også synlig om vi deler søknadsbeløpene inn i kategorier. Som grafen viser kommer de prosjektene som søkte om over 1 million kroner spesielt dårlig ut. Vi vet ikke hva som var årsaken, men det kan tenkes at utvalgsmedlemmene vurderte kost-/nytteverdien av disse prosjektene lavere.

At søknadene med høye søknadsbeløp har kommet så dårlig ut, er grunnen til at vi besluttet å sette et tak på søknadssummen. Fra og med 2019 er det ikke mulig å søke om mer enn 1 million kroner per år (maksimalt 3 millioner for tre år). Hvordan det vil påvirke søknadssummene og vurderingene til fagutvalgene våre, vet vi foreløpig ikke.

Kvinner og menn

En av de tingene vi følger nøye med på er om det er forskjeller mellom kjønnene. En måte å undersøke det på, er å se om kjønnet på søkeren spiller en rolle for hvor ofte søknadene innvilges eller hvilke karakterer søknaden får.

I Stiftelsen Dam er det egne fagutvalg som vurderer søknadene og de aktuelle søknadene har blitt vurdert av tre utvalgsmedlemmer uavhengig av hverandre.

Som tabellen viser, har kvinnelige søkere marginalt høyere innvilgelsesandel og får litt høyere karakterer. Forskjellene innebærer at kvinnelige søkere har 10 prosent høyere sannsynlighet for å bli innvilget. Det kan godt være et resultat av tilfeldigheter. Dette er noe vi vil følge nøye med på i tiden som kommer.

Enighet

Hvor enige utvalgsmedlemmene er når de vurderer samme søknad, er et viktig mål på hvor god prosessen er. Perfekt enighet er det ikke rimelig å forvente og enighet er i seg selv ikke et tilstrekkelig mål på om vurderingene er gode eller ikke, men lav enighet betyr økt uforutsigbarhet i søknadsbehandlingen. Den samme søknaden kan bli sendt flere ganger og få ulikt utfall. Det er naturligvis uheldig.

Utvalgsmedlemmene våre setter karakterer fra 1 til 10, der 10 er best. Figuren viser hvor ofte to og to utvalgsmedlemmer var enige i sine vurderinger. «Enig» er i dette tilfellet en forskjell på maks en karakter mellom to utvalgsmedlemmer som har vurdert samme søknad. Som det fremgår av tabellen ligger enigheten over det man kan forvente ved helt tilfeldig trekning av karakterer.

Når vi gjør analyser som tar høyde for tilfeldig enighet, får vi resultater som er lavere enn vi skulle ønske. Det er en velkjent utfordring blant pengeutdelende institusjoner over hele verden.

For å finne årsakene til uenigheten og for å kartlegge hva vi kan gjøre med det, har vi satt i gang et forskningsprosjekt der både Kreftforeningen og Norges forskningsråd skal bidra med data fra sine tildelinger.

Oppsummert

Vi forsøker etter beste evne å sikre at utdelingen av de 300 millionene skjer på best mulig måte. Pengene skal gå til den frivillige helseinnsatsen i Norge og fordelingen skal være så uhildet og upartisk som mulig.

Selv om våre analyser ikke viser tegn til store skjevheter, kan de likevel finnes eller oppstå. Derfor mener vi slike analyser bør være en fast del av kvalitetssikringsarbeidet til alle finansiører. Den interesserte kan se oss i kortene på www.dam.no/statistikk.