Kantar TNS forsvarer forskningsundersøkelse

Kantar TNS har nylig bistått Forskningsrådet med å kartlegge folks holdninger til forskning. Målet var å belyse hvordan forskere best mulig kommer ut med sin forskning når sosiale medier og etablerte riksmedier sprer så mye informasjon – både av god og villedende karakter.

Undersøkelsen har avfødt noen kommentarer. Enkelte angriper metoden, slik som Ottar Helleviks utsagn i forskning.no om at undersøkelsen er «verdiløs», da den er basert på «veldig mange» enig-uenig påstander, som gjennomgående har en «forskningskritisk tendens», og at det «i tillegg spørres om forhold mange neppe har tenkt mye over eller har klare oppfatninger om før de blir spurt, er faren for ‘ja-siing’ stor». Kritikken som har kommet mot undersøkelsen illustrerer forskningsformidlingens grunnleggende utfordringer. Biter rives løs og gis tabloide oppslag, tilsynelatende uten at kritikerne har satt seg inn i rapportens pålitelighet.

Les også: Alarm i Forskningsrådet?

Vi vil derfor benytte anledningen til kort å kommentere kartleggingens tilnærming og noen hovedpoenger:

1. Denne undersøkelsen kartlegger befolkningens holdninger til forskning gjennom flere dimensjoner: Interesse for forskning, hvor oppdatert befolkningen er på forskning, hvordan befolkningen forholder seg til forskning og hyppighet i oppdatering.

Statistisk analyse viser at disse enkeltforholdene empirisk utgjør en enhetlig underliggende dimensjon som vi kan kalle «forskningsorientering». Vi finner at forskningsorienteringen er «normalfordelt», det vil si at de fleste (seks av ti) er «nøytrale», mens to av ti har henholdsvis «liten» eller «stor» forskningsinteresse.

Egenrapportering gjennom spørreundersøkelser er en vanlig måte å kartlegge personlige egenskaper på (holdninger og atferd), når man ikke kan gjøre kliniske eksperimenter eller anvende registerdata fra for eksempel kliniske.

2. Undersøkelsen kartlegger videre befolkningens holdninger til om politikere, journalister og forskere bruker forskning «strategisk», det vil si om disse gruppene kunbruker forskningsresultater som passer med egne holdninger og verdier. Befolkningens vurderinger knyttes her til en generell vurdering av makt og innflytelse – operasjonalisert med tre spørsmål om holdninger til hvorvidt politikere og journalister tilhører et lite miljø med liten kunnskap om hvordan folk flest har det.

Vi finner at blant de «maktskeptiske» (de som er kritiske til at politikere og journalister vet hvordan folk har det), mener så mange som seks til syv av ti at forskningen brukes strategisk blant disse gruppene for å underbygger egne standpunkter. Blant de som ikke er «maktskeptiske», er det kun om lag 2 av 10 som mener disse gruppene benytter forskningsresultater strategisk.

Det er også få, 2 av 10, som mener at forskningsresultater er preget av forskernes egne politiske holdninger og synspunkter blant de som ikke er kritiske til «makteliten» (politikere og journalister).

3. Undersøkelsen kartlegger også befolkningens kunnskap om og holdninger til klassisk akademisk versus «alternativ» forskning: Befolkningen har varierende meninger om alternativ forskning: Fire av ti mener økologisk mat er sunnere enn konvensjonell mat (én av ti vet ikke), Tre av ti mener genmodifisert mat er helseskadelig (to av ti vet ikke), Tre av ti mener akupunktur er effektiv (en-to av ti vet ikke).

Samlet sett inntar de fleste (halvparten) mellomstandpunkt i disse spørsmålene, eller tar ikke stilling. Tre av ti er skeptiske til den «alternative» forskningen, mens to av ti er åpne. Andelen skeptikere til alternativ forskning reduseres med stigende forskningsinteresse. Med andre ord, jo mer interessert de som svarer er i forskning, desto mer skeptiske er de til alternativ forskning.

4. Vi finner også at «Fake news» oppleves vanskelig å avdekke både i innhold og hyppighet: Halvparten av befolkningen «vet ikke» hvor ofte de blir utsatt for nyheter som enten fordreier forskning eller viser til falsk forskning. Blant de mest forskningsorienterte, reduseres andelen som ikke tar stilling til påstanden som framstilles til det halve, samtidig som om lag halvparten mener dette forekommer månedlig eller hyppigere. Det er særlig grad av oppdatering, hyppighet i oppdateringen samt innstilling til forskningsformidling som påvirker om man opplever å kunne avdekke «falsk» forskning.

Et grunnleggende premiss i forskningsformidlingen er at forskningen dokumenteres, slik at den er kan prøves av andre i ettertid gjennom tilsvarende undersøkelser. Prosjektets sluttrapport er ikke endelig ferdigstilt, noe som kan ha skapt misforståelser i formidlingen av de innledende funnene.

Her skal vi bare kort påpeke enkelte forhold:

• Utvalget er representativt sammenliknet med befolkningen – også når det gjelder utdanningsnivå.
• At bruk av utsagn i en kartlegging av befolkningens holdninger forutsetter balanserte og valide formuleringer, er elementært. Eksempelvis kartlegges holdningene til offentlig forskningssatsning eksplisitt med omvendte meningsinnhold – to negative/to positive utsagn.
• Dels benyttes gradsskala (ikke påstander) i spørsmål der respondentene tar stilling til hvorvidt forskningen er påvirket av forskernes politiske holdninger – og der det skilles mellom fem ulike forskningsområder.
• I sum har nok spørreskjemaet faktisk flere «positivt ladede» utsagn enn «negative», når det gjelder hvor etterrettelig forskningen er.
• Vår ambisjon i kartleggingen er dels nettopp å utsette respondentene for ulike påvirkninger i en eksperimentell situasjon hvor de selv ikke er klar over det, og samtidig som vi forsøker å kontrollere for respondentenes «faktiske» stillingstagen i vurderingene.
• Respondentene bruker ulike deler av vurderingsskalaene i ulike spørsmål, noe som ikke akkurat underbygger påstanden om «utstrakt ja-siing». De som svarte på undersøkelsen måtte ikke svare på spørsmålene: De kan svare vet-ikke, og de kan la være å svare.
• Flere av de grunnleggende svarene fra respondentene er ikke basert på positive eller negative utsagn/påstander, men på gradsskala: «I hvilken grad mener du at forskning er påvirket av forskernes politiske holdninger og synspunkter på følgende områder?»
• Resultatene i vår undersøkelse samsvarer i stor grad med svar i en tilsvarende undersøkelse som IPSOS gjorde i 2016. – ref. påstanden: «Forskningsresultater er preget av forskernes egne politiske holdninger og synspunkter»

Vi konstaterer at innvendingene som er reist mot undersøkelsen dels er basert på løsrevne fragmenter – i en større sammenheng basert på nærmere 70 ulike aspekter som kartlegges – og uten at de kommenteres i lys av prosjektets formål. Vi støtter fullt ut vurderingen av at man kan påvirke ved å manipulere spørsmål, noe vi regelmessig sjekker i eksperimentelle undersøkelser hvor vi endrer skalaene, rekkefølgen på spørsmål og hvordan vi introduserer spørsmålene. Det siste har vi også gjort i denne undersøkelsen.

På samme måte kan man manipulere ved tolkning av resultater – og selektivt «plukk» av enkeltspørsmål. I så måte fremstår debatten for oss som et skoleeksempel på undersøkelsens egentlige tema: hvor vanskelig det er å formidle forskning.

Innlegget var først publisert hos forskning.no.