Nye «skandaler» fra Timss og PISA

«PISA er historien om hvordan internasjonale sammenlikninger har globalisert utdanningspolitikken, noe vi tidlige har oppfattet som landenes eget anliggende».

Dette utsagnet kommer ikke fra kritikere av PISA. Det kommer fra Andreas Schleicher (2013), lederen av OECDs PISA-prosjekt. Det er de første ordene i hans presentasjon av PISA i en såkalt «TED talk». TED-foredrag (Technology, Entertainment, Design) er anerkjente og ofte brukte kilder for presentasjoner. De legges gratis på nett og brukes mye i undervisning.

Schleicher er tydelig stolt av at PISA styrer den globale skolepolitikken. Og Schleicher bygger på OECDs egne analyser. De har laget en systematisk gjennomgang av hvilken innflytelse PISA har hatt i ulike land, The Policy Impact of PISA. Allerede i sammendraget slås det fast at:

• «PISA-resultater har påvirket skolereformer i de aller fleste deltakerlandene […] PISA er blitt en nesten global standard, og brukes nå i mer enn 65 land …» (Breakspear 2013, min overs).

OECD og PISA er altså stolte av at de påvirker skolepolitikken i nær sagt alle land. Kanskje ikke så merkelig, for PISA er først og fremst et politisk prosjekt. Det er politisk og normativt. Gjennom PISA vil OECD fortelle landene hva som er viktig i skolen og hvilken politikk de bør føre, og rådene blir i stor grad fulgt.

Norske utdanningspolitikere hevder, og tror kanskje, at utdanningspolitikken formes av oss selv, og slett ikke av internasjonale målinger og sammenlikninger. I en viktig bok med mange ulike bidrag om norsk skolepolitikk vises det tydelig hvordan ideer fra OECD, EU og andre aktører påvirker vår politikk og diskusjon gjennom sine ideer, rapporter og anbefalinger (Røvik m. fl. 2014).

6. desember får vi en ny runde med PISA-resultater, og da venter journalister og politikere i spenning på dommens dag, da PISA skal skille taperne fra vinnerne. Men en uke tidligere, 29. november, kommer det resultater også fra Timss, den andre store internasjonale undersøkelsen. Begge disse studiene dreier seg om realfagene, matematikk og naturfag, men oppfattes av mange som om det er en totalvurdering av norsk skole.

At det på en uke kommer to internasjonale studier av samme fag kan lett skape forvirring både i pressen og blant politikere. Og det er ikke usannsynlig at PISA og Timss vil gi to nokså ulike resultater og «budskap». Da er det viktig å være klar over likheter og ikke minst ulikheter mellom de to studiene.  La oss ta det grunnleggende først.

Timss og PISA: Kortversjonen

Timss, Trends in Mathematics and Science Study, har elever i 4.-5. og 8.-9. klasse som målgruppe, og tester deres forståelse av lærestoff i matematikk og naturfag. De legger til grunn læreplaner i de fleste land, og oppgavene er stort sett av en type som er vanlige i de fleste land. Om lag 60 land deltar.

Samtidig publiseres også resultater fra Timss Advanced, der målgruppen er elever som i videregående skole har valgt spesialisering i matematikk og fysikk. Dette kan i praksis bety at målgruppen omfatter svært avvikende andeler av årskullet i ulike land, slik at sammenlikninger mellom land blir svært problematiske. I Timss Advanced deltar bare ni land, deriblant Norge og Sverige.

Timss-studiene trekker ut hele klasser og deres lærere når de tester. Det innebærer at man kan se data fra elevene i sammenheng med informasjon fra læreren og knytte det til den undervisningen elevene har fått. 

I tillegg til den faglige testen, samler Timss også informasjon fra spørreskjemaer til elever, lærere og skoler. Dessuten har de data om landenes skolesystem og læreplaner. Timss har utspring i forskningsmiljøer og har røtter tilbake til 1960-tallet. Timss gjennomføres stort sett hvert 4. år. Norge har deltatt ved alle studiene fra og med 1995.

Ti år tidligere, midt på 1980-tallet, var Norge med i forløperen til Timss, nemlig Siss (Second International Science Study). Undertegnede var norsk prosjektleder, og det ga en viss innsikt i de utfordringer som er knyttet til slike internasjonale sammenlikninger. Min skepsis stammer fra dette arbeidet.

PISA, Program for International Student Assessment, tester det som OECDs eksperter mener er de ferdigheter som ungdom i de rike OECD-landene trenger for framtidas globale arbeidsmarked. OECD har laget sin egen læreplan, et såkalt Assessment Framework. Dette rammeverket har vært endret over tid, slik at sammenlikninger av testeskåre over tid er problematisk, men blir likevel gjort.

Målgruppen for PISA er 15-åringer som går på skole. For de fleste land er dette nær 100 prosent av årskullet, men i noen land deltar bare knapt halvparten. Sammenlikninger av gjennomsnittlig nivå på elever i ulike land blir i slike tilfeller meningsløse.

I hvert land trekker man et utvalg elever som skal representere denne gruppen. Først trekker man ut skolene, og innen hver skole trekkes elevene individuelt, altså ikke som klasser. Skolens ledelse svarer på en rekke spørsmål, men det gjør ikke lærerne. PISA-testen varer i to timer, og vil etter hvert være nettbasert.

Om lag 70 land deltar i PISA. PISA gjennomføres hvert 3. år, første gang var i 2000. Deltakere er alle de 34 mer eller mindre rike landene i OECD, men i økende grad også andre land og «økonomier», som Shanghai og Hong Kong.

Timss og PISA: Likheter og ulikheter

Mye er felles for Timss og PISA: Begge er utvalgsundersøkelser der man tester et representativt utvalg av elever i hver populasjon, ofte om lag 5000. Ved at både Timss og PISA har vært gjennomført en rekke ganger tidligere, og mange oppgaver beholdes fra en studie til den neste, vil man kunne si noe om utviklingen over tid.

Timss og PISA tester noen sider ved de samme fagene, men ingen av dem befatter seg med skolens brede dannelsesmandat slik det er nedfelt i formålsparagrafen for norsk skole.

Felles for Timss og PISA er også at testene er anonyme og samles inn etter at de besvart. Elevene får aldri anledning til å diskutere oppgaver og resultater i etterkant. Det hadde for øvrig vært vanskelig, for elevene har i liten grad svart på de samme spørsmålene. Man benytter nemlig såkalt roterte tester.

Til sammen er det om lag ti timers oppgaver, men hver enkelt elev svarer i løpet av to timer på bare på et lite utvalg av disse. Slik kan man få en bredere dekning av faglig innhold. Resultatene publiseres omtrent ett og et halvt år etter testingen.

Verken Timss eller PISA sier noe om den enkelte elev, klasse eller skole. Det gis ikke, og kan heller ikke gis, tilbakemeldinger til andre enn landenes nasjonale myndigheter. Slik sett er både Timss og PISA uten betydning for elever, lærere eller skoler, men begge er såkalt «høy innsats»-tester for regjeringene.

Hvis resultatene blir bra, tar regjeringen det ofte til inntekt for sin politikk, går det dårlig, skylder man på forrige regjering. Ofte blir dette en slags svarteper-lek. I Sverige skyldte Folkpartiets skoleminister, Jan Björklund, på den forrige regjeringen for stadig svakere svenske testresultater, selv etter åtte år som minister.

Så mye om likhetene mellom Timss og PISA. Men det er også viktige forskjeller mellom Timss og PISA. Det som kanskje er viktigst er at Timss, i motsetning til PISA, tester typisk «skolekunnskap», slik den er nedfelt i landenes læreplaner og lærebøker. Timss er i hovedsak beskrivende og analytisk, uten noen bestemt politisk agenda eller ideologi.

Stort sett gir Timss-forskerne ingen klare utdanningspolitiske anbefalinger, men presenterer data som kan gi grunnlag for diskusjoner om styrke og svakhet i deltakerlandene. Likevel er det rangeringene av de deltakende landenes testskåre som får mest oppmerksomhet, både i media, i opinionen og blant politikere.

I nasjonale rapporter kan selvsagt Timss-forskere, også de norske, ofte gi uttrykk for hvordan de som fagpersoner fortolker data i sitt eget land. Men dette presenterer de heldigvis sjelden som en «konklusjon» basert på bare data. Brukt «med måte», og uten vekt på rangeringer av land etter totalskår, kan Timss derfor være av stor verdi for de fagene som er studert, altså realfagene.

I Norge har Timss spilt en viss rolle i de faglige diskusjonene om fagplaner og elevens resultater, men har ikke skapt de helt store overskriftene i media. Timss har heller ikke, i motsetning til PISA, skapt nasjonal panikk eller sjokk. I andre land, som for eksempel USA, har Timss fått mye større oppmerksomhet, men de siste årene har PISA fått økende betydning også der. Panikken er stor, for USA ligger midt laget, omtrent som Norge.

Både Timss og PISA presenteres i sine norske rapporter og hjemmesider som at de «måler elevenes kompetanse i matematikk og naturfag». Det kan være riktig for Timss, men knapt nok for PISA, som har et mye mer ambisiøst mål.

PISA er et OECD-prosjekt. OECD (Organization for Economic Cooperation and Development) har som mål å fremme økonomisk vekst og utvikling i en global markedsøkonomi. PISA-prosjektet oppsto som ledd i denne politikken, og bokstaven E-i OECD står for Economy, ikke for Education. Folks utdanning, ofte omtalt som humankapital, er i dag en viktig produktivitetsfaktor.

Når man skal forstå PISA, er det rimelig å se på hva PISA-forskerne selv sier at de måler. Slik presenteres dette på første side i nær sagt alle internasjonale PISA-rapporter:

• Hvor godt er ungdommer forberedt til å møte framtidas utfordringer?
• Kan de analysere, resonnere og kommunisere sine ideer på en effektiv måte? 
• Er de i stand til å fortsette å lære hele livet?  

(http://www.pisa.oecd.org, min overs.)

Slik ble det presentert allerede i 1999, for 16 år siden, rett før den første runden med PISA. De samme utsagnene er gjentatt i alle senere rapporter. Les disse spørsmålene nøye. Det er ikke akkurat beskjedne.

Gjennom en totimers test klarer man altså å besvare helt grunnleggende spørsmål om elevens og landets framtid. Med en anonym test som er felles for alle 70 deltakerland.

Hadde dette vært ført opp som forskningsspørsmål i en søknad om støtte, ville prosjektet blitt avvist som både urealistisk og uvitenskapelig. Og hadde man kunnet svare, hadde det gitt Nobelpriser.

Men PISA er ikke et vanlig forskningsprosjekt. Det er som nevnt et først og fremst et politisk prosjekt.

Globalisering, kommersialisering og privatisering

PISA har i nesten alle land skapt frykt og panikk. Google-søk med PISA og sjokk, skandale eller krise på ulike språk gir utallige treff. Ofte fører PISA-resultatene til misnøye med den offentlige skolen og dens lærere.

Misnøyen slår ofte ut i at man søker etter private alternativer til den offentlige skolen. Det fører også at skolen og «skoleeierne» kjøper produkter, ideer og opplegg som hevder å kunne gi bedre testskår. Slik bidrar spesielt PISA til å gi drahjelp til det enorme globale utdanningsmarkedet. I økende grad blir utdanning kommersialisert og privatisering. (Sjøberg 2014). Slik flyter offentlige midler til private lommer, ofte i andre land.

I de siste årene har PISA alliert seg med verdens største kommersielle aktør innen «edu-business», Pearson. Tidsskriftet Utdanning dekket dette grundig i januar 2016. Pearson har 40 000 ansatte i 80 land og omsetter for milliarder av kroner. Pearson var inne i PISA 2015, men har fått en mer sentral rolle i PISA 2018, som nå er under utvikling.

Pearson vant nemlig anbudet om å utvikle rammeverket for PISA i 2018. I den felles pressemeldingen heter det at «rammeverket definerer hva som skal måles, hvordan det skal rapporteres og hvordan man skal utvikle tester og spørreskjemaer» (OECD & Pearson 2014).

Nå skal altså Pearson, verdens største kommersielle aktør definere hva som er verdifull kunnskap og hvordan den skal måles og rapporteres. I neste omgang står de klare med både private skoler, læremidler, tester og verktøy for å overvåke utviklingen.

Gjennom sitt samarbeid med PISA etablerer Pearson også et internasjonalt nettverk av forskere, og samarbeidet med selveste OECD gir også en legitimitet som kan gi innpass i nær sagt alle land. Da de vant anbudet for PISA 2018 var det et taktisk trekk som investorene bak Pearson så som gunstig, for de krever avkastning på sin risikokapital.

Den internasjonale sammenslutningen av fagforeninger for lærere i barnehage og skole, Education International, vedtok på sin verdenskongress i 2015 at kampen mot privatisering og kommersialisering skal være deres topprioritet i årene som kommer. Mange er bekymret for alliansen mellom OECD/PISA og aktørene i «edu-business», spesielt Pearson.

PISA og definisjonsmakten

I sine rapporter definerer PISA-forskerne PISA-skåre som et samlet mål for hele skolens kvalitet. PISA-poeng blir derved et mål for kvaliteten av det «produkt» skolen leverer. Når man så vet hvor mye hvert land bruker på hver elev, kan man regne ut hvor effektiv skolen er i sin produksjon.

Disse beregningene har i mange land fått stor politisk betydning. Data og grafer som viser at det er liten sammenheng mellom pengebruk og oppnådde PISA-poeng blir brukt for det de er verdt av politikere.

Så også i Norge. Kristin Clemet grep umiddelbart fatt i dette, og ved neste PISA-runde sa hun til NRK at «Resultatene står ikke i forhold til ressursbruken», under overskriften «Vi bruker allerede mye» (7. desember 2004).
https://www.nrk.no/norge/—mer-penger-gir-ikke-bedre-skole-1.514481

I 2015 leverte Rattsø-utvalget, også kjent som «produktivitetskommisjonen», sin rapport (NOU 2015:1). I utredningen gjentas det utrettelig at «produktiviteten i grunnskole og videregående opplæring er lav i internasjonal sammenheng». Utvalget har da brukt PISA-poeng per dollar som måleenhet for produktivitet i skolen.

De skriver også at man «dessverre ikke har data for produktiviteten i barnehagen». Underforstått: Vi må måle «produktiviteten» også i barnehagen.

PISA øver også innflytelse gjennom besøk og såkalte strategiske veiledninger, der de forteller og belærer politikere i deltakerlandene om hvilke tiltak de bør gjennomføre for at økonomien skal bli konkurransedyktig.

Disse rapportene er ikke vanlige forskningsrapporter, skrevet for et forskersamfunn og publisert etter faglig vurdering. I rapportene henvender PISA/OECD seg ofte direkte til politikere, byråkrater og ikke minst presse.

Da PISA-leder Andreas Schleicher i 2015 var på besøk i Norge, møtte han statsråder og embedsmenn fra fire departementer og fortalte dem hva de gjorde riktig og galt. Dagen etter var han i Sverige. Men heldigvis; norske politikere viser en økende grad av skepsis mot mange av disse rådene.

Mange forskere, faktisk de fleste, mener at PISA ikke har noe belegg for de konklusjoner de trekker og de anbefalinger som de kommer med. En internasjonal forskeraksjon kom med protest i form av et åpent brev til PISA-leder Andreas Schleicher (Meyer m.fl. 2014).

De mente at han opererte som en slags global utdanningsminister, og at bruken av PISA var til stor skade for den offentlige skolen, elevers læring og ikke mist deres motivasjon og glede. Aksjonen samlet på kort tid 2000 underskrifter fra ledende forskere i 40 land.

Mange forskere publiserer også grunnleggende kritikk av mange sider ved forskningsmetode og statistisk analyse, og de mener at også disse sidene ved PISA er høyst tvilsomme. Mange mener at OECD presenterer og «selger» sine konklusjoner på en uetterrettelig måte og at de ikke kommuniserer usikkerhet og feilkilder ved sine data (Rutkowski og Rutkowski 2016).

Norge som aktør og pådriver

For noen tiår siden deltok ikke Norge i internasjonale undersøkelser. I dag deltar Norge i nær sagt alle de internasjonale testene som finnes. Røvik mfl (2014) peker på at Norge, gjennom Utdanningsdirektoratet, er involvert i 42 internasjonale prosjekter, blant dem nær sagt alle de komparative studiene av elevers faglige prestasjoner.

Og Norge er ikke bare deltaker, Norge synes nesten å være pådriver i slike sammenhenger. Anne-Berit Kavlie i Utdanningsdirektoratet leder IEA, den organisasjonen som står for mange av disse studiene, blant annet Timss og den internasjonale lesetesten Pirls, og norske forskere har sentrale roller i mange av prosjektene, også i PISA.

Det er norske myndigheter som bestemmer og bevilger penger (eller kanskje det er Utdanningsdirektoratet?). De mange internasjonale studiene koster mange penger og gir også mange arbeidsplasser. Norske universitetsmiljøer står sentralt i slikt arbeid, og det gir både gode midler og mange stillinger. De får tildelt prosjektene gjennom å levere anbud, og slik lever instituttene i en slags symbiose med politikere og skolebyråkrater.

De samme miljøene kan da bruke sin ekspertise til å vinne anbud knyttet til nasjonale prøver, Oslo-prøver og kartleggingsprøver. Slik veves det bånd av gjensidig lojalitet og avhengighet. Da blir kritikk ikke spesielt populært, selv ved et universitet.

Mange forskere er kritiske til det store og voksende testregimet både globalt og i norsk skole. De fleste velger imidlertid å skrive sine analyser og sin kritikk av norsk skolepolitikk i internasjonale tidsskrift. Det kan gi publikasjonspoeng og være viktig for videre akademisk karriere.

Men de fleste vegrer seg mot å delta i offentlig debatt eller skrive kronikker. Ikke så merkelig, kanskje, for også forskere må tenke på videre karriere, jobber og bevilgninger. Det er sjelden lønnsomt å kritisere de som sitter på pengesekken.

Og hva nå?

Selvsagt skal Norge delta i internasjonale studier av skolen. Slike studier er viktige, men de har et slags Janus-ansikt. Det positive er at de kan bidra til at vi kan lære av andres erfaringer og hjelpe oss til å se vår egen skole utenfra. Dette kan gi inspirasjon til å tenke nytt, kritisk og annerledes.

Men internasjonale skolestudier har også en annen om mer problematisk side, og det har vært fokus i denne artikkelen. Ofte blir det bare «resultatlisten» som dominerer. Rangeringen av landenes snittskår forstås som resultatene fra en idrettskonkurranse, som en slags olympisk øvelse.

«Dette er som å komme hjem fra vinter-OL uten en enste norsk medalje» sa Kristin Clemet, nybakt utdanningsminister da de første resultatene av PISA kom akkurat da hun hadde overtatt ministerposten. Norge havnet da midt i laget blant de rike OECD-landene, og på dette grunnlaget konstruerte hun, med pressens gode hjelp, et PISA-sjokk som la grunnlaget for både Kunnskapsløftet, nasjonale prøver og skolepolitikken i årene som fulgte. (Sjøberg 2007).

Om kort tid kommer det altså nye resultater fra Timss og PISA. Tusener av involverte kjenner nå resultatene. Jeg er ikke blant dem. Men jeg vil tippe at det blir som nesten alltid: at vi ligger midt i laget blant de rikeste landene, og at dette vil bli oppfattet som en skandale. For i verdens rikeste land er det som kjent «typisk norsk å være god», og alt annet enn pallplass er et nederlag.

Etter de siste årenes hardkjør for å styrke matematikk og å heve testresultater i norsk skole, vil mitt stalltips være at vi kanskje har en viss framgang, i alle fall når det gjelder Timss, som jo faktisk måler tradisjonell skolekunnskap.

Heldigvis er vi nå bedre rustet til å møte slike studier, slik at vi kan gi dem den plass de fortjener, altså som innspill i viktige debatter om norsk skole og samfunn. Både norsk presse, forskere fra ulike fag og politikere i ulike partier synes nå å forholde seg mer nøkternt og kritisk enn i tidligere år.

Vi får håpe at debatten blir god.

(Kronikken er først publisert i utdanningsnytt.no)

Litteratur

Breakspear, S. (2013): The Policy Impact of PISA: An Exploration of the Normative Effects of International Benchmarking in School System Performance, OECD Education Working Papers, No. 71, OECD Publishing.http://dx.doi.org/10.1787/5k9fdfqffr28-en 

Rutkowski, L. & Rutkowski, D. (2016): A Call for a More Measured Approach to Reporting and Interpreting PISA Results Educational Researcher, Vol. 45 No. 4, pp. 252–257 doi: 10.3102/0013189X16649961  

Røvik, K. A, T. V. Eilertsen og E. Moksnes Furu (red.) (2014): Reformideer i norsk skole. Spredning, oversettelse og implementering. Oslo: Cappelen Damm Akademisk
Schleicher, A. (2013): Use data to build better schools. TEDGlobalhttps://www.ted.com/talks/andreas_schleicher_use_data_to_build_better_schools/transcript 

Sjøberg, S. (2014): Pisafisering av norsk skole. En suksesshistorie fra OECD. I: Røvik, K. A., T. V. Eilertsen og E. Moksnes Furu (red.): Reformideer i norsk skole. Spredning, oversettelse og implementering. Cappelen Damm Akademisk.

Sjøberg, S. (2007): Internasjonale undersøkelser: Grunnlaget for kunnskapsløftet I: Hølleland H. (Ed.): På vei mot kunnskapsløftet: Begrunnelser, løsninger, og utfordringer. Oslo: Cappelen. http://folk.uio.no/sveinsj/Sjoberg_cappelen-skolepolitikk.pdf  

Meyer H. D. m. fl. (2014): Open Letter to Andreas Schleicher on PISAhttp://www.theguardian.com/education/2014/may/06/oecd-pisa-tests-damaging-education-academics