Slik kan ChatGPT-juks avsløres

Som Khrono har fortalt, har kun tre studenter i Norge blitt felt for å jukse med samtaleroboten ChatGPT eller andre kunstig intelligens-verktøy på eksamen. 

Selv om det kan være vanskelig å oppdage, for ikke å si bevise, ChatGPT-bruk, er det fullt mulig å se indikasjoner på at hele eller deler av teksten er generert av kunstig intelligens (KI).

Khrono har snakket med professor Morten Goodwin ved Universitetet i Agder (UiA) og andre KI-eksperter. Her er deres tips til hva du skal se etter og hva som kjennetegner en ChatGPT-generert tekst.

1. Teksten er generell

ChatGPT-tekster er ofte generelle, for de mangler fagkunnskap om spesifikke områder, påpeker Morten Goodwin, som er nestleder  ved Center for Artificial Intelligence Research ved UiA.

— Hvis jeg ber en student om å skrive om sitt tema, klarer ikke ChatGPT gå i dybden på samme måte. Noen ting her og der klarer den å plukke opp, men det blir vagt og generelt, sier Goodwin. 

Han gir et eksempel:

— Jeg har bedt ChatGPT om å skrive en algoritme som heter backpropagation, som er en veldig vanlig teknikk innenfor kunstig intelligens. Den klarer å snakke overfladisk om det, men den får både feil kilder og feil bruk. 

Sten Ludvigsen, som er professor i læring og digitalisering ved Universitetet i Oslo synes det er nokså lett å gjenkjenne ChatGPT-tekster:

— Den har det man kan kalle en lett generaliserende skrivestil, som er nokså lett å se når man har brukt disse verktøyene selv. Litt sånn som journalister skriver. Ikke helt presist, men ok, ler han.

Postdoktor Benjamin Kille ved kunstig intelligens-senteret NorwAI ved NTNU istemmer: 

— Den er ofte ikke veldig spesifikk, og den vil ofte gi deg definisjoner som er veldig brede. At teksten ofte gir definisjoner på ting, kan også være en indikasjon. For menneskelige forfattere trenger ikke definere alt hele tiden, mye går fram av konteksten. Men ChatGPT definerer ofte ting.

fuskforskning

Trodde på mindre fusk etter pandemien. Det var før ChatGPT

2. De samme formuleringene går igjen

— Det er noen fraser som ChatGPT «liker», sier Morten Goodwin.

De samme formuleringene går igjen i ChatGPT-tekster.

— For eksempel hvis jeg ber ChatGPT skrive mer inspirerende eller mer for et mer allment publikum, er det at de virkelig store ordene som kommer fram. «Mennesket står ved et veiskille». «En revolusjon er på vei». Hvis jeg skal skrive en tekst, vil jeg kanskje ha det i begynnelsen, men ikke gjennomgående i hele teksten.

 3. Språket og tonen endrer seg

Hvis språket eller tonen i en besvarelse endrer seg, kan det være grunn til å være på vakt. Det kan bety at deler av besvarelsen er studentens eget språk, mens andre kommer fra ChatGPT.

Khrono har tidligere omtalt en besvarelse hvor dette gjorde sensor mistenksom. Studenten, som ble felt for fusk, hadde blant annet et avsnitt som startet med tre setninger på perfekt norsk, men som ble avsluttet med en setning med haltende grammatikk.

— Alle studenter har en bestemt måte å uttrykke seg på, og ChatGPT kan ikke etterligne den. Så hvis stilen plutselig endrer seg, du plutselig begynner å bruke veldig lange setninger og fancy ord, er det noe som kan gjøre en mistenksom, sier Benjamin Kille.

Frankrike

Blokkerer universiteter i protest mot fransk pensjonsreform

4. Det mangler referanser, eller det er feil i dem

Referanser er ikke ChatGPT god på. 

— Den finner opp sine egne referanser. Grunnen til det er at den ikke er trent til å være en database, den er trent til å holde en samtale, sier Morten Goodwin.

— Hvordan finner den på referanser?

— Da gjør den som den alltid gjør, den prøver å finne hva som er det beste svaret på dette. Hvis jeg snakker om dataprogrammer og kunstig intelligens, og jeg ber den komme med en referanse som typisk passer. En referanse om en språkmodellalgoritme i et tidsskrift om språkmodeller som passer i konteksten, men som ikke er sant.

— Så hva kan man se etter i referanselista?

— At det er nok referanser. Og at de referansene er reelle. Det handler for eksempel bare ofte bare om å trykke på lenken.

ChatGPT oppgir ikke vanligvis ikke referanser for informasjon, med mindre du ber den om det. Og ofte er referansene veldig generelle som er «ubrukelige» i faglitteraturen, sier Goodwin. 

 5. Den har ikke polariserende meninger og banneord

ChatGPT vil ikke komme med fornærmende og polariserende påstander, sier postdoktor Benjamin Kille.

— Så hvis du ser sterkt språk, banning også videre, kan du være ganske sikker på at det ikke ChatGPT.

6. Den har ikke informasjon om hendelser etter 2021

Alt som har skjedd etter 2021 finnes ikke for ChatGPT.

Så hvis du for eksempel spør om Arbeiderpartiets fall på meningsmålingene det siste halvåret, vil den ikke ha informasjon om det. 

— Den kan gjerne skrive om det, men det blir gjerne oppspinn. La oss si at den skal skrive en stil om Arbeiderpartiet, vil historien være sann fram til kanskje 2020, sier Morten Goodwin.

7. Den blir flagget i et detektor-program

Det finnes programmer — såkalte detektorer — som for eksempel sier om det er sannsynlig at en tekst er KI-generert. Men det er delte meninger om hvor pålitelige de er, og om de i det hele tatt bør brukes. Morten Goodwin nevner GPTZero. Du mater en tekst i programmet, så svarer det at det for eksempel er 80 prosent sikkert at det er laget av ChatGPT.

kunstig intelligens

ChatGPT lurer fuskesjekken

Goodwin sier man uansett ikke må bruke slike programmer for å bevise juks, men at det kan gi en indikasjon på at man undersøke nærmere.

Benjamin Kille ved NorwAI sier:

— Min erfaring er at de ikke fungerer helt. Noen ganger tror de at menneskelig tekst er skrevet av en samtalerobot, og omvendt.

— Man kan ikke stole på detektorer, mener KI-forsker ved NTNU Inga Strümke.

Ved Høgskolen i Innlandet ble en student mistenkt for ChatGPT-juks etter at sensor kjørte besvarelsen gjennom detektorer. Studenten ble imidlertid frikjent. I etterkant av saken har høgskolen bestemt at den ikke anbefaler å bruke detektorer, og at disse ikke kan danne grunnlag for mistanke om juks.

 Obs! Den som er god til å jukse, kan omgå dette 

Det er grunn til å tro at de færreste som bruker ChatGPT til å jukse, leverer en tekst helt uten egen bearbeidelse. Og det er mange måter å unngå å bli tatt på. Man kan skrive kildelisten selv. Man kan be den spesifikt om å unngå å gjenbruke de samme formuleringene eller instruere den til å være mer spesifikk. Og man kan kjøre en test gjennom en detektor. 

— Jeg tror jeg skulle klart å modifisere hvilket som helst spørsmål, slik at det gir en ChatGPT-svar som detektorer ikke klarer å snappe opp, mener Inga Strümke.

eksamen

Slik lurte han sensor med ChatGPT — fikk A på eksamen