LES VIDERE ETTER ANNONSEN
FÅ NYHETER PÅ MOBILEN
Last ned Khrono-appen!
chatgpt
Han hevder han har løst problemet med KI-fusk
IT-gründer Roger Larsen har en ny metode for å avdekke ChatGPT-fusk. Nå undersøker universitetenes IT-leverandør markedet for denne type verktøy.
Publisert
Kunstig intelligens (KI) har røsket godt i utdanningssektoren. Og det finnes tilsynelatende ingen enkel metode for å avsløre studenter som fusker med verktøy som ChatGPT.
Nå mener IT-gründer Roger Larsen å ha funnet en løsning. Han står bak flere IT-selskaper for utdanningssektoren. Blant annet er han gründeren bak læringsplattformen Fronter, som ble brukt på universiteter og høgskoler både i Norge og utlandet og som fikk mange millioner brukere.
Han står også bak WeVideo, et program for videoredigering, som oppgir at de har 38 millioner brukere.
Det finnes en rekke såkalte KI-detektorer, programmer som skal avsløre KI-generert tekst. Men flere studier har vist at disse ikke er spesielt nøyaktige.
Roger Larsen og hans team har omdefinert problemet til å handle om å avsløre «spøkelsesforfattere». Altså at det like gjerne kunne vært en student som fikk betalt for å skrive en oppgave for en annen student.
— Når ChatGPT og andre generative tjenester blir tilgjengelig, vil det egentlig bare være en forsterkning av et annet problem, sier han.
Den statlige tjenesteleverandøren til norske universiteter og høgskoler, Sikt, er også interessert i verktøy som kan avsløre KI-fusk. Men foreløpig har de ikke konkrete planer om å kjøpe inn noe.
Slik er metoden
Selskapet til Roger Larsen har utviklet en totrinns metode for å verifisere at det er studentens egen tekst.
Først tar man en skriftprøve fra studenten på rundt 300 ord. Når studenten leverer en besvarelse, blir denne automatisk analysert og sammenlignet med prøven, og det kommer ut en rapport. Larsen hevder de lingvistiske analysene i opptil 99 prosent av tilfellene gir en sikker bekreftelse på om det er studentens tekst.
Etter at studenten har lastet opp teksten, får hun automatisk genererte spørsmål til teksten. De må besvares i sanntid, med tidsbegrensning.
— Hvis det er du som har skrevet teksten, vil det være veldig lett å svare på, sier Larsen.
— Kan du ikke bruke ChatGPT når du svarer?
— Nei, du har ikke tid til det. Vi har også lett proktorering som innebærer at vi monitorerer aktiviteten i nettleseren, sier han.
— Da har læreren eller universitetet to holdepunkter, som er helt uavhengige av hverandre, men som likevel kan gi en veldig sikker bedømming av hvorvidt det er studenten som er den reelle forfatteren, sier han.
Plagiatkontroll på anbud
De siste åtte årene har norske universiteter og høgskoler brukt programmet Ouriginal for å avdekke tekstlikhet. Dette eies av amerikanske Turnitin.
Det var Ouriginal som ble kjørt i fuskesakene til statsrådene Sandra Borch og Ingvild Kjerkol. Men dagens løsning har en sluttdato og må byttes ut.
Tidligere denne måneden la Sikt plagiatsjekk for norske universiteter og høgskoler ut på anbud.
I anbudsdokumentet går det fram at Sikt også er interessert i løsninger som kan avsløre bruk av kunstig intelligens.
— Vi spør om et plagieringsverktøy som minner om kjernen i det vi har i dag. Men vi er åpne og spørrende på KI-området og KI-deteksjonselementer. For her vil vi tro at det er en rivende utvikling i markedet, så vi ønsker å undersøke dette litt åpent, sier Vegard Moen, som er produktområdeleder for undervisningstjenester i Sikt.
«Nye metoder for juks»
I innledningen til anbudsdokumentet står det at den viktigste funksjonaliteten til systemet de etterspør er å gjenkjenne tekstlikhet for å avdekke plagiering.
Men det står også at det er «viktig at løsningen kontinuerlig utvikles for å ta høyde for nye metoder for juks, for eksempel bruk av AI-genererte tekster».
— Vi ber om informasjon om hvordan de tenker og hvordan de ønsker å utvikle seg for å møte utfordringen med KI, utdyper Moen.
I kravspesifikasjonene står dette om KI:
«Beskriv hvordan løsningen kan støtte institusjonens innsats for å unngå juks ved bruk av uoriginalt arbeid, inkludert AI-genererte tekster, og identifisering av ulike forfattere (kontraktjuks).»
På spørsmål om hvorfor de er litt vage på dette, svarer Vegard Moen:
— Vi vet jo egentlig ikke hvilke løsninger som finnes. Det er mye innovasjon som foregår nå. Det er mange som tror vi kommer inn i et evig kappløp hvis KI skal detektere KI. Dette er jo nytt, både for leverandørene og oss.
Toner ned forventningene
I forbindelse med anbudsprosessen har Sikt også bedt om informasjon fra potensielle leverandører.
Men ifølge Moen har de ikke hatt noe «eureka-øyeblikk» når det gjelder verktøy for KI-avsløring.
Han toner ned forventningene.
— Noe KI-deteksjon kommer sikkert på bordet under anskaffelsesprosessen. Men jeg tror vi blir overrasket om vi finner en «magic fix».
Verdien på oppdraget om plagiatkontroll har Sikt anslått til 3 millioner euro, drøyt 34 millioner kroner.
Oppdraget har en varighet på tre år, men med innebygd mulighet for forlengelse.
Seks ansatte
Selskapet til IT-gründer Roger Larsen selger ikke noe produkt ennå, men Larsen sier at rundt sju universiteter i like mange land tester ut en pilot.
— Nå «tørrkjører» de det internt i sine læringsteknologiavdelinger og verifiserer at de har lyst til å kjøre det mot studenter. Det er vi nå i ferd med å få positive tilbakemeldinger på. Så blir det jo spennende når man skal teste det ut mot studenter.
De skal også ha uavhengig forskning på det, hvor de skal kjøre kontrollgrupper og designe forskningsopplegg, og det skal publiseres, forteller han.
Selskapet hans, Nor Education AS, har seks ansatte, og driver bare med dette. Han sier de har jobbet med prosjektet i flere år.
I Norge har de ikke fått noe napp. Tilbakemeldingen fra universitetene og høgskolene venter på at sektoren skal velge nytt system for plagiatkontroll, som altså er ute på anbud nå.
— Interessert i å høre om alt
Vegard Moen i Sikt synes konseptet til Roger Larsen høres interessant ut.
— Jeg har hørt on denne type løsninger, som lager en slags signatur. Men jeg tror vi må se litt på det. For de kan også bli utfordret av KI igjen, sier han.
— Vi er interessert i å høre om alt som kan adressere KI-utfordringene i forbindelse med fusk.
Roger Larsen sier de ikke er kvalifisert til å levere et anbud selv, siden de ikke har et plagiatsystem. Hvis de skal delta, må de eventuelt være underleverandør hos en annen aktør.
Mener studentene må følges bedre opp
— Plagiatkontrollen er utmanøvrert, sa OsloMet-professor Jan Sverre Knudsen til Khrono i et innlegg om kunstig intelligens i høyere utdanning nylig.
Knudsen, som jobber ved barnehagelærerutdanningen, viste hvordan studenter kunne bruke programmer for å omskrive tekster, og dermed lure plagiatkontrollen.
Han sier han ikke har mye erfaring med verktøy for å avdekke KI-fusk, men forteller at et annet fakultet nylig oppdaget fusk ved hjelp av programmet GPTZero.
Han mener man også kommer et godt stykke med tettere oppfølging av studentene.
— Da blir man kjent med studentene underveis og kan veilede dem med oppgaveskrivingen. Hvis de har hatt jevnlig kontakt med en lærer, tror jeg ikke de plutselig vil finne på å levere en svær tekst som ikke er deres egen, sier han.
Men dette er også et økonomisk spørsmål, legger han til.
— Med de rasjonaliseringene og nedskjæringene som har vært av undervisning de siste årene, i hvert fall for oss på barnehagelærerutdanningen, er dette veldig vanskelig.
