KI var bedre på å forklare forskningen enn forskerne selv

En ny studie antyder at kunstig intelligens (KI) er flinkere til å formidle forskning til et allment publikum enn forskerne selv.

I eksperimenter ble forsøkspersoner presentert for ulike sammendrag av vitenskapelige artikler:

• Artikkelens offisielle sammendrag (det som heter «abstrakt» i artikkelen)
• De populærvitenskapelige sammendragene skrevet av forskerne, rettet mot et allment publikum (såkalte «signifikansuttalelser» / «significant statements»)
• Sammendrag (signifikansuttalelse) laget av kunstig intelligens (ChatGPT-4)

Studien, som er gjennomført av førsteamanuensis David M. Markowitz ved Michigan State University i USA, ble publisert i tidsskriftet PNAS Nexus i september.

Ga bedre oppsummeringer 

Deltakerne i studien ble bedt om å oppsummere teksten de hadde lest med egne ord. Det viste seg at de som hadde lest den KI-genererte teksten var i stand til å gi mer nøyaktige, detaljerte og konkrete oppsummeringer enn de som leste forskernes egne sammendrag rettet mot et allment publikum. 

KI-teksten førte til en signifikant forbedring i deltakernes evne til å forstå og gjengi informasjonen, noe som ble bekreftet gjennom flere målinger og vurdert til å være betydelig.

De KI-genererte tekstene ble også vurdert til å være lettere å lese, ut fra ord- og setningslengde.

Forsøkspersonene som leste KI-tekstene, vurderte også forskerne til å være mer troverdige og pålitelige enn de som leste det populærvitenskapelige sammendrag skrevet av forskerne selv.

Da deltakerne i studien skulle gjette, bommet de på hvilken tekst som var skrevet av kunstig intelligens. De trodde forskernes egne tekster var de som var KI-generert.

De fikk også spørsmål om hvor intelligente de trodde forfatterne av sammendraget er. Det viste seg at de som leste tekster laget av kunstig intelligens, vurderte forskerne som mindre intelligente enn de som leste forskernes egne sammendrag.

Her er instruksjonen: 

Her er instruksjonen («prompten») som forskeren ga ChatGPT, oversatt til norsk. Markowitz limte inn sammendraget fra artikkelen («abstraktet») og skrev: 

«Følgende tekst er et akademisk sammendrag fra tidsskriftet Proceedings of the National Academy of Sciences. Basert på dette sammendraget, lag en signifikansuttalelse. Denne uttalelsen bør gi nok kontekst til at artikkelens implikasjoner blir klare for leserne. Uttalelsen skal ikke inneholde referanser og bør unngå tall, måleenheter og forkortelser med mindre det er nødvendig. Den skal forklare betydningen av forskningen på et nivå som kan forstås av en person med universitetsutdanning i realfag på bachelornivå, selv om det ikke er innenfor deres eget spesialfelt. Den bør ikke overstige 120 ord. Skriv signifikansuttalelsen her».

publisering

Bruken av disse ordene har eksplodert etter ChatGPT