Chatbot løste eksamens­oppgave på få sekunder. Fikk karakter B

ChatGPT blir kalt neste generasjons kunstig intelligens og er på alles lepper om dagen. Men kan den by på utfordringer for universiteter og høgskoler?

Ved Høyskolen Kristiania har man fattet interesse for verktøyet og testet om det er mulig for studenter å bruke roboten til å jukse.

I en test gjennomført av prodekan for utdanning ved School of Health Sciences, Hilde Skjerve, ble fire spørsmål av ulik vanskelighetsgrad stilt til chatboten. Spørsmålene har tidligere blitt brukt til eksamen for bachelorstudenter i biomedisin.

I retur fikk Skjerve lange, utfyllende svar spekket av fagbegreper - på norsk med korrekt språk og tegnsetting.

Noen fallgruver

Etter en gjennomgang av svarene kunne en sensor konkludere med at svaret på den enkleste oppgaven ville gitt karakteren B. Men deretter går det nedover.

Konklusjonen til Skjerve er at jo vanskeligere spørsmålet er, desto dårligere blir svaret. På de fire spørsmålene med økende vanskelighetsgrad ga sensoren karakterene B, C, D og E.

— Vi ser at svarene blir verre når spørsmålene blir mer komplekse. Av de fire svarene var det ingen som kvalifiserte til en A. Samlet sett ville denne besvarelsen gitt en dårlig C. Jeg tror ikke at studenter vil oppnå de gode karakterene ved å bruke denne chatboten, men en student som ikke har lest til eksamen, vil nok klare seg, sier Skjerve.

Selv om svaret kan se perfekt ut, kan en sensor oppdage elementer i svarene som ikke stemmer, sier Skjerve.

— Vi ser at det brukes begreper som ikke står i vår pensumlitteratur. Det er et rødt flagg for en sensor. Vi ser også at svaret plutselig vinkler mot et annet fagområde. Ut av det blå handler svaret om ernæring, ikke biomedisin. Det er et annet rødt flagg. Og vi ser i et svar at teksten plutselig endrer tone og ikke lenger er en vitenskapelig tekst. Det er nok et rødt flagg, sier Skjerve.

Hun mener en mer inngående undersøkelse bør bli gjort for å klargjøre muligheter og begrensinger med dette verktøyet, og også en mer systematisk test av mange forskjellige fagområder.

Bør være bevisst

ChatGPT har gått viralt de siste dagene. I The Guardian og CNN har spørsmålet blitt stilt: Kan verktøyet erstatte mennesker, og kan det erstatte søkemotortjenester som Google?

Den blir av mange kalt neste generasjons kunstig intelligens, og er en chatbot utviklet av selskapet OpenAI, der blant andre Elon Musk var én av grunnleggerne. I forrige uke ble verktøyet lansert, og det har allerede nådd én millioner brukere, ifølge grunnlegger Sam Altman.

Chatbots har blitt mer og mer vanlig etter at den første ble lansert på 1970-tallet, og i dag benytter mange selskaper seg av slike verktøy til blant annet kundeservice, med varierende hell. En KPMG-undersøkelse utført av Norstat fra våren 2022 viste at få ting irriterer nordmenn mer enn robotisert kundeservice.

Mange er også bekymret for tjenesten. Ifølge NRK har Landslaget for norskundervisning sendt en bekymringsmelding til Stortinget.

Til tross for at svarene ChatGPT ga Skjerve hadde varierende kvalitet, er hun tydelig på at universiteter og høgskoler bør være oppmerksomme på verktøyet.

— Det er en utvikling vi bør være bevisste på. Resultatene av denne testen viser at vi bør være oppmerksomme på måten vi formulerer spørsmålene på eksamen. Og vi må være tydelige på at vi anser bruken av verktøy som ChatGTP som juks på eksamener, sier Skjerve.

Mer muntlig eksamen

Prorektor for forskning og kunstnerisk utviklingsarbeid ved Høyskolen Kristiania, Morten Irgens, har jobbet med kunstig intelligens siden 80-tallet. Han mener ny teknologi alltid kommer med både utfordringer og muligheter.

— Nye teknologier har alltid blitt sett på som en trussel, men vi har sett gjennom menneskehistorien at de har skapt flere, ikke færre jobber, og flere, ikke færre muligheter. Det handler om å tilpasse seg og finne nye måter å integrere verktøyene inn i undervisningen og den virkeligheten vi lever i.

Irgens tror dagens programmer for å avdekke plagiering vil slite med å avdekke om eksamensbesvarelser er generert av ChatGPT. Men det betyr ikke at vi bør skygge unna ny teknologi, mener han.

— Kanskje må vi legge mer vekt på muntlig eksamen, deltagelse i undervisning eller gruppearbeid?

Han trekker sammenligningen til introduksjonen av lærebøker i undervisningen eller kalkulatorer i matematikken.

— Også da var det en lignende bekymring for at elever og studenter ikke ville lære seg faget, som har vist seg å være ubegrunnet. Dette er et potensielt viktig nytt verktøy vi må glede oss over og integrere i utdannelsen, heller enn å bekymre oss.

Han mener ChatGPT ikke nødvendigvis er en milepæl, men et resultatet av en gradvis forbedring de siste tiårene.

— Men de er i bunn og grunn bare papegøyer som ikke vet betydningen av hva de sier. Det kan bety at de også genererer feilinformasjon, men ChatGPT er en fascinerende god papegøye, sier Irgens.

Teknologi må avsløre teknologi

Prorektor ved Universitetet i Bergen (UiB), Pinar Heggernes, tror ChatGPT og andre lignende verktøy vil endre måten eksamener gjennomføres på.

— Vi må tenke nytt, og vi vil bli nødt til å bruke flere eller andre typer vurderingsformer, sier Heggernes.

Prorektoren har selv bakgrunn som informatikk-forsker med algoritmer og kunstig intelligens som spesialitet.

— Det første som slår meg, er at eksamen i sal, der det er stengt for nett og digitale verktøy, er noe vi kanskje må bruke enda mer. Kanskje er også muntlige oppfølginger i løpet av semesteret noe vi kan ha mer av. Utviklingen kommer helt sikkert til å påvirke hvordan vi tenker om dette.

Med tanke på eksamensbesvarelser levert av chatboten, tror hun vi i Norge har en foreløpig fordel. Verktøyene er trent mest i engelsk språk.

— Likevel må jeg si de fungerer overraskende godt på norsk, bedre enn man kanskje skulle tro med tanke på datagrunnlaget de er trent med, sier Heggernes.

Hun legger til at det uansett bare er et tidsspørsmål før verktøyene vil bli gode i norsk.

For å kunne avsløre plagiat i fremtiden, tror Heggernes den samme teknologien må tas i bruk. Kunstig intelligens må stadig utvikles, også for å kunne avsløre kunstig intelligens.

— Det er slik mange av disse verktøyene trenes, og blir stadig bedre, gjennom mot-algoritmer, sier hun.