Slik lurte han sensor med ChatGPT — fikk A på eksamen

Instituttleder Espen Langbråten Wilberg ved Høgskolen i Østfold blir alltid interessert når det kommer nye digitale verktøy innenfor læring og pedagogikk. Før jul satte han seg ned og utforsket ChatGPT.

Det hadde kommet fortellinger om at samtaleroboten kunne svare på eksamensoppgaver. Men da handlet det gjerne om enkle faktaspørsmål. Wilberg trodde den kunne brukes til mer.

— Da jeg begynte å bruke den, så jeg for meg at den kunne besvare en eksamensoppgave innenfor pedagogiske fag også, sier Wilberg, som er instituttleder ved Institutt for pedagogikk, IKT og læring.

De utdanner blant annet lærere og spesialpedagoger.

Meldte seg opp til eksamen

Dette ville han undersøke, og han sjekket om det var noen nært forestående hjemmeeksamener. Han fant en hjemmeeksamen i et masteremne i spesialpedagogikk ved eget instituttet, og fikk meldt seg opp.

Sensoren som senere fikk besvarelsen hans i sin bunke, visste ikke hvem som hadde skrevet den.

Wilberg løste oppgaven på et par timer kvelden før innleveringsfristen. Problemstillingen han valgte var: «Hva er forskjellen mellom spesialpedagogisk rådgivning og spesialpedagogisk veiledning, og hvordan kan de sammen bidra til å støtte brukere med behov for spesialpedagogisk hjelp?

Onsdag skal Wilberg i en debatt på Litteraturhuset i Fredrikstad fortelle om hvordan han brukte ChatGPT til å få toppkarakter.

Kunstig intelligens

Eliteskole forbyr ChatGPT. Andre advarer mot å stikke hodet i sanden

Startet med disse spørsmålene

Han nøyde seg ikke med å bare servere oppgaveteksten til samtaleroboten, men gikk systematisk til verks.

Først laget han noen regler for eksperimentet. En intetsigende innledning og konklusjon var lov å lage for egen maskin. Han kunne også rydde i kildelistene.

Han startet med å stille noen generelle spørsmål til samtaleroboten for å få et overblikk temaet. For eksempel: «Hva er spesialpedagogisk rådgivning?». Deretter stilte han spørsmål om hovedpunkter i litteraturlisten til emnet.

— Det er en del som har prøvd ChatGPT, og mener den ikke er så god som det hevdes. Det er ofte fordi man stiller den et veldig komplekst spørsmål, og du forventer at den skal gi deg en hel eksamensbesvarelse bare basert på oppgaveteksten, sier han.

Grunnen til at han stilte disse spørsmålene, var at han ville vise samtaleroboten hva han var interessert i, og at han ville ha svar fra pensum.

— Det som er greit å ha med seg, er at ChatGPT har et korttidsminne fra den samtalen. Så den skjønner av konteksten at det er dette jeg er interessert. Så når jeg etterpå for eksempel ber den drøfte likhetene mellom spesialpedagogisk rådgivning og spesialpedagogisk veiledning, så bruker den det jeg har gitt den, forteller han.

Han stilte spørsmål om alle artiklene fra litteraturlisten.

Fusk

Vurderer å forlenge eksamensperioden som følge av ChatGPT

Satte opp struktur selv

Så satte han opp en struktur for besvarelsen.

— For du får ikke en sammenhengende besvarelse på 5-6 sider ut av den, sier Wilberg.

I tillegg til innledning og konklusjon, ville han blant annet ha egne bolker på spesialpedagogisk rådgivning og veiledning, på utfordringer, teorigrunnlag, lover og retningslinjer, samt likheter og forskjeller mellom rådgivning og veiledning.

Så begynte han å stille spørsmål til direkte bruk i besvarelsen. For eksempel: «Kan du redegjøre for teorigrunnlaget for spesialpedagogisk veiledning, med kilder i løpende tekst, APA- stil?» APA er en referansestil som brukes innen samfunnsfag og humaniora.

Her ser du hvordan samtaleroboten svarte på dette:

Teksten under hver underoverskrift i besvarelsen er svar på et slikt spørsmål.

Wilberg fikk også ChatGPT til å finne på et eksempel for å illustrere forskjellen mellom begrepene. Den fortalte da om 8.-klassingen Mari som har lærevansker.

Espen Langbråten Wilberg anslår at han brukte 2-2,5 timer på oppgaven. På forhånd hadde han ikke lest noen av pensumbidragene eller deltatt i undervisning. Han kan en del om temaet, men har ikke teoretisk kunnskap om det oppgaven spør om, forteller han.

Fikk A: — Var veldig gøy

Wilberg fikk senere en e-post om at besvarelsen hadde fått karakteren A.

— Jeg synes det på mange måter var veldig gøy. Og det har også gitt noen muligheter internt for å diskutere hvordan vi skal møte dette.

For hvis det skulle være noen tvil, å bruke ChatGPT på denne måten er juks.

— Hadde det vært mulig å avsløre dette?

— På det tidspunktet, og med den oppgaveutformingen, tror jeg ikke det. Du kan gjøre en språklig analyse og komme fram til at det kan virke som om ikke en vanlig student har gjort det. Men å slå fast at det er juks, hvis du ikke har fuskeverktøy, tror jeg ikke du klarer, sier han.

— Hva er lærdommen av dette? Kommer dere til å endre praksis?

— Ja, vi kommer til å endre praksis enkelte steder. Vi kommer til å endre oppgavetekster enkelte steder, og på noen områder vil vi endre vurderingsform. Men vi tar dette relativt med ro. I våre grader er det varierte vurderingsformer. Det er muntlig, skoleeksamen og hjemmeeksamen. Og så må vi se litt på hjemmeeksamenene våre. Vi er ikke nervøse for at vi utdanner en rekke lærere og barnehagelærere som ikke har den kompetansen de skal ha, sier han.

robotjuks

NTNU legger ikke om eksamen i vårsemesteret

Slik kan de lure roboten

Han tror heller ikke at en student som kommer rett ut av videregående og ikke har lest pensum eller vært på forelesninger, klarer å lage en tilsvarende besvarelse gjennom ChatGPT.

— Dette er litt mer enn et hastverksarbeid. Du må ha kildekritikk, stille gode spørsmål, ha en god struktur og kunne skrive en akademisk tekst.

Wilberg virker ikke så bekymret for ChatGPTs konsekvenser for eksamen.

— Noen institusjoner kommer til å stramme inn alt og begynne med skoleeksamener, andre vil finne måter å komme rundt det på. Jeg håper vi finner måter å komme rundt det på, sier han.

For å stikke kjepper i hjulene for roboten kan man for eksempel be studentene spille inn en supplerende video til besvarelsen. Eller man kan si at de bare får bruke praksiseksempler som er godkjent på forhånd, sier han.

— Kommer inn i nesten alle yrker

Selv synes han det er mest interessant er å diskutere hva slike verktøy gjør med utdanningene og hvordan gi studentene kompetanse på kunstig intelligens.

— Hvordan skal studentene få kompetansen som gjør dem i stand til å kritisk vurdere det og kunne kommunisere og samarbeide effektivt med en sånn AI (kunstig intelligens journ.anm.)? Dette kommer jo til å komme inn i stort sett alle yrker. Jeg håper vi får løftet debatten dit på et tidspunkt. Hvordan vi tenker at dette er en del av studieprogrammene. Og med økt kompetanse i sektoren på dette, tror jeg også man vil løse dette med vurderinger, sier han.

— Faren nå er at man ser akkurat på det man har nå - ChatGPT - hva klarer ikke den! Så lager du oppgaver ut fra det. Men da kommer vi jo til å løpe etter for å avsløre og lage oppgaver den ikke kan besvare. For det er én oppdatering, og så kommer det masse nytt.

Publisering

ChatGPT ført opp som medforfatter av forsknings­artikler. Storforlag sier nei