Brukte kunstig intelligens til å skrive sammendrag – slik gikk det

En sylfersk preprintstudie i tidsskriftet Biorxiv, ført i pennen av sju amerikanske forskere, problematiserer potensialet for å bruke samtaleroboten ChatGPT til å skrive sammendrag for medisinske studier.

I studien lot forskerne roboten skrive 50 sammendrag, abstrakter, om du vil, av allerede publiserte studier for fem av de tyngste medisinske tidsskriftene, JAMA, NEJM, BMJ, Lancet, og Nature Medicine. Deretter satte forskerne både mennesker og dataprogrammer til å analysere resultatet.

Bestillingen til roboten var enkel:

– Kan du skrive et vitenskapelig abstrakt for [artikkelens tittel] i samme stil som [tidsskriftet]?

Her testet forskerne totalt 50 sammendrag. I studien brukte de både originalene og de kunstig framstilte.

Kunstig intelligens

Chatbot løste eksamens­oppgave på få sekunder. Fikk karakter B

Funnene kan ses både som oppløftende og illevarslende.

For det første, og ha i bakhodet at denne studien ikke ennå er fagfellevurdert, så er roboten original i sine framstillinger, faktisk så original at plagieringsdetektoren ikke slår ut i det hele tatt, og langt mer original enn de menneskeframstilte.

Medianverdien var 100 prosent for ChatGPT, der høyere verdi betyr mer original, mot menneskelige 38,5 prosent. Her merket forskerne seg også at de kunne be roboten om å skrive samme sammendrag flere ganger, og fremdeles lure kontrollen.

Mennesker hadde rett tre av fire ganger

Forfatterne ga også sammendragene til et panel mennesker for å se om de kunne skille mellom ekte og falsk, og deres øyne var noe mer nøyaktige.

Her traff menneskene riktig på 77 prosent, så i ett av fire tilfeller ble mennesket lurt. Bare gjennom spesiell programvare, der KI (kunstig intelligens) blir brukt til å identifisere KI-generert innhold, var tallene helt overbevisende, med 98 prosent.

Falsifisering eller språkhjelp - eller begge deler?

Studien, om disse funnene er representative, bærer bud om at retningslinjer, moral, etikk og lovens bokstav står overfor noen utfordringer, og artikkelen diskuterer også avslutningsvis noen dype fallgruber. Alle som har prøvd ChatGPT vet at roboten kan presentere både troverdige tall og overbevisende diskusjonspoeng, men disse kan også serveres uten at de har rot i sannhet eller virkelighet.

Da kan roboten lett brukes til å falsifisere forskning, og materialet som brukes for å trene roboten kan gi slagside den ene eller andre veien. Men det kan også gjøre det lettere å produsere god og forståelig forskning for ikke-engelsktalende forskere, fordi den kan gjøre deler av skrivejobben langt lettere.

Forskerne bak studien foreslår derfor å føre opp roboten som medforfatter. Eller i minste fall sørg for at alle sammendrag som vurderes for publisering fra nå av kjøres gjennom en KI-detektor, til et mer solid etisk rammeverk er på plass.

ChatGPT

Universiteter oppdaget robot­svar på eksamen

— Vet ikke om det er så problematisk

Men er det egentlig så farlig? Vi sendte over studien og noen spørsmål til prorektor Pinar Heggernes ved Universitetet i Bergen. Hun er også professor i informatikk og algoritmeekspert.

– Egentlig er ikke dette så annerledes enn at vi får et nytt verktøy til å hjelpe oss. Hver gang det har kommet nye verktøy har det kommet frustrasjon og frykt, og så har regelverket måtte kommet i etterkant, sier Heggernes til Khrono.

– Hva mener du om funnene, da? Er det problematisk at ChatGPT ligger så tett opp til tekst produsert av mennesker?

— Den mest kjedelige delen når man forbereder publisering av en studie er abstraktet (sammendraget) og introduksjonen, for der må jeg gjenta meg selv og arbeidet jeg og andre har gjort tidligere samt gjengi mange definisjoner, før jeg kan gå i gang med det nye og det som er spennende. At du kan bruke kunstig intelligens til å gi deg et slikt forslag, jeg vet ikke om det er så problematisk, sier hun.

Det er sikkert flere som kjenner seg igjen i hennes hverdag, med mye rapportering om arbeid til dem som har gitt midler, brevskriving og rapportering og rutinearbeid. Alt med oppsummering av eksisterende informasjon.

Akkurat det skjønner ikke Heggernes at forskerne skal bruke tid på:

— Hvorfor skal menneskelig intelligens brukes til å gjenta informasjon som allerede er produsert?

Helt panegyrisk vil hun likevel ikke være med på at hun er.

— Maskinlæring gir oss store muligheter, med store utfordringer, og det viktigste er å snakke om det, og å få opp juridiske og etiske rammeverk. Hvor skal det tillates, hvor skal det ikke? Hva betyr det å bruke ChatGPT? Det er ikke nødvendigvis slik at du får et svar og du bruker det uendret. Du tar gjerne flere iterasjoner med verktøyet før du selv redigerer resultatet og bruker det, sier hun.

— Kunnskap alle bør ha

Foreløpig er ChatGPT helt gratis, og utviklerne bak i selskapet OpenAI, vil trolig holde det åpent og gratis en stund for å hente inn bruksdata og la roboten lære. Det bør vi også, mener Heggernes.

Debatt ● Astrid Marie Holand, Andreas Holand

ChatGPT: en høflig og gudfryktig samtalepartner som alltid snakker sant. Eller?

— Kunnskapen om dette er noe alle bør ha. Dette er ikke en som en kalkulator, du får ikke det samme svaret hver gang, og derfor må man forstå hva det er man får ut – det er det statistisk mest relevante svaret som kommer. Jeg har lest innlegg om at dette vil gjøre oss dummere, men det tror jeg ikke. Jeg tror det vil gjøre oss mer nysgjerrige, at vi kommer til å stille nye spørsmål fordi vi får tilgjengeliggjort ny informasjon, sier hun.

— Hvor viktig blir det å kunne bestille innhold fra en maskin?

— Det er en grunnleggende kunnskap som alle blir nødt til å ta til seg. Alle kan ikke bli eksperter på AI, men en viss forståelse, hvorfor resultatene blir som de blir, og hvordan man kan dra det i en eller annen retning.

Og her kommer det potensielt illevarslende inn.

— ChatGPT virker veldig politisk korrekt, for den sier at den er trent på balansert data, men det kan tenkes at det kommer nye verktøy der en politisk eller religiøs ideologi gjennomsyrer dataen, og da kan statistikken påvirkes, slik at resultatet som kommer ut er farget av det. I ytterste konsekvens kan verktøyet da gi et vridd bilde av virkeligheten, slik at det for eksempel vil kunne være kritisk til homofile ekteskap eller klimaendringer.

ChatGPT

Robotevangeliet