Kunstig intelligens har gjort det mulig med svindel på industrielt nivå.
Det tok oss noen minutter å plagiere Curt Rice og lure universitetets kontroll
Brussel (Khrono): Hvor lang tid tar det å plagiere en rektor og lure universitetenes plagiatkontroll trill rundt?
Det holder med noen minutter.
Dette er historien om hvordan Khrono en helt vanlig arbeidsdag produserte flere falske forskningsartikler, plagierte rektoren ved et av landets universiteter og kom oss gjennom plagiatkontrollen uten å bli oppdaget.
Alt før lunsj.
Ble ikke fanget opp i plagiatkontroll
— Det er kanskje ikke helt overraskende at det føles kjipt å oppdage at man er blitt plagiert.
Meldingen tikker inn fra fjellheimen i Montana, der rektor Curt Rice ved Norges miljø- og biovitenskapelige universitet (NMBU) er på ferie.
Rice, som også er lingvist, har nettopp fått beskjed om at det er en av hans artikler Khrono har plagiert. Artikkelen ble publisert i juni 2011 i et tidsskrift som gis ut av storforlaget Taylor & Francis. Tema var likestilling i akademia.
Da vi kjørte et utdrag på 10.000 tegn gjennom et tilfeldig og gratis program vi fant på nett, tok det under et minutt før vi fikk en omskrevet versjon. Likheten med originalen er slående, oppbyggingen er den samme, men noe ordlyd og setningsoppbygging er endret. En formulering som «the press conference that spring day» er for eksempel endret til «the news conference on this spring afternoon».
Den nye versjonen ble kjørt gjennom Ouriginal/Urkund, et tekstgjenkjenningsprogram som brukes av NMBU og andre norske universiteter til plagiatkontroll. Svaret kom raskt. Kontrollen fant ingen — null prosent — likhet med artikler den ble sjekket opp mot. Da vi for kontrollens skyld kjørte originalteksten gjennom samme program, fant det 100 prosent likhet med artikkelen som var publisert i 2011.
Kontrollen flere universiteter bruker fanget med andre ord ikke opp vår plagiering. Hva om en student hadde plagiert sin egen rektor og levert det inn som sitt eget?
Plagierte nobelprisvinner
Vi skal komme tilbake til Rice sin reaksjon på å ha blitt plagiert. Men dette er ikke bare historien om hvordan Khrono lurte en plagiatkontroll, det er historien om svindel på industrielt nivå.
I sentrum for historien står såkalte «paper mills» — papirmøller — som produserer falske forskningsartikler mot betaling. I tillegg kommer såkalte «essay mills», som i stor stil produserer tekster de selger til studenter.
Debatten rundt disse er ikke ny, men nå advares det mot at papirmøllene har fått verktøy som gjør det mulig å produsere falske artikler på et helt annet nivå enn før.
Advarselen kom nylig under en høring i den amerikanske kongressen, referert av Science Business. Der fortalte Bill Foster hvordan han sammen med et annet kongressmedlem hadde gjort en lignende øvelse som vi gjorde med artikkelen til Rice.
Foster og kollegaen hadde kjørt en artikkel fra 1939, av fysiker og nobelprisvinner Enrico Fermi, gjennom et gratis program som bruker kunstig intelligens til å skjule plagiering. Det tok 15 sekunder. De brukte deretter fem minutter på å endre på noen setninger før de kjørte det gjennom to plagiatverktøy og sendte det til generalinspektøren ved National Science Foundation (NSF).
De ble ikke avslørt. Både plagiatverktøyene og NSF mente den var 100 prosent ekte.
Skrev flere falske artikler
Det er et arsenal av slike programmer på nett. De vi brukte fant vi gjennom et enkelt nettsøk.
De tilbyr seg ikke bare å skrive om på artikler, de tilbyr deg også hele artikler, om hvilket som helst emne. Alt ved hjelp av kunstig intelligens. Vi loves «plagiatfrie» og «unike» artikler på få minutter. Det eneste vi må gjøre er å skrive inn noen stikkord.
Vi skriver:
«The History Of Research Plagiarism And Its Effects On The Trust In Science».
Et halvt minutt senere kommer resultatet, med avsnitt som dette:
Det er trolig blitt publisert tusener på tusener av artikler fra papirmøller.
Elisabeth Bik
«In this critical perspective, I argue that plagiarism is as much an issue of confidence as it is one of truth. I will argue that plagiarism warps the scientific infrastructure of knowledge production and its ability to produce truth».
Denne teksten klarer seg ikke gjennom plagiatkontrollen, den finner 90 prosent likhet med andre tekster. Det er grovt plagiat. Vi tester et nytt program, kjører den falske teksten gjennom samme omskriving som vi brukte på artikkelen til Rice. På noen sekunder er likheten plagiatverktøyet avdekker, redusert til sju prosent.
Bombarderer forlag med artikler
Alt dette gjorde altså Khrono før lunsj.
Vår plagiering av Rice ville ha blitt oppdaget på null tid av de som har lest den opprinnelige artikkelen. Men hva når mer avanserte verktøy er i hendene på selskaper som lever av å selge falske artikler til folk på jakt etter publiseringer?
I en nylig rapport fra Committee on Publication Ethics (COPE) beskrives det hvordan papirmøller selger forfatterskap til artikler som allerede er akseptert av et tidsskrift.
Prisen varierer, avhengig av tidsskriftets «impact factor» og rollen som forfatter, om du vil være hovedforfatter koster det mer enn om du nøyer det med å være medforfatter.
Når en artikkel er publisert bombarderer papirmøllen tidsskriftet med av og til hundrevis av manus om lignende tema, heter det i rapporten. Ifølge Science Business har papirmøllene også siktet seg inn mot preprint-servere, som publiserer artikler digitalt før fagfellevurdering.
Ukjent hvor omfattende det er
Omfanget er ukjent. I rapporten fra COPE vises det til en analyse av 53.000 artikler fra seks forlag. Andelen mistenkte artikler, som er sendt inn eller publisert, spenner fra 2 til 46 prosent. De viser også til en latvisk papirmølle som hevder den siden 2012 har fått publisert nær 13.000 artikler.
— Det er trolig blitt publisert tusener på tusener av artikler fra papirmøller, sier den nederlandske mikrobiologen Elisabeth Bik i en kommentar på e-post til Khrono.
I am ringing the alarm.
— Elisabeth Bik (@MicrobiomDigest) February 21, 2020
We have now found >400 papers that all share a very similar title layout, graph layout, and (most importantly) the same Western blot layout.
This is a massive #PaperMill of (what we assume) fabricated data.
Bik vet hva hun snakker om. Hun er blitt kalt «the Sherlock Holmes of science fraud» og er en av flere ubetalte «detektiver» som jobber systematisk med å avsløre forskningsfusk. Hun kom selv inn i denne jakten da hun etter femten år som forsker oppdaget at hennes eget arbeid var blitt kopiert.
«I am ringing the alarm», skrev til hun over 60.000 følgere på twitter i februar 2020. Sammen med blant annet en norsk forsker, hadde hun avslørt en kinesisk papirmølle som skal ha produsert minst 400 artikler på bestilling. Hun sier til Khrono at hun sammen med andre «detektiver» nå har identifisert rundt 2000 artikler fra papirmøller, alle fra samme felt, publisert av forfattere ved kinesiske sykehus.
Hun viser videre til en studie som identifiserte over 300 artikler med potensielle bånd til en russisk papirmølle. Verdien på medforfatterskap selskapet tilbyr, ble anslått til 6,5 millioner amerikanske dollar.
— Selv om disse tallene er høye, er det bare en liten brøkdel av alle vitenskapelige artikler som produseres hvert år, understreker Bik.
— Kommer bestandig til å finne nye veier
I kongresshøringen viste Foster til hvordan programmer som bruker kunstig intelligens, kan gjøre det mulig å produsere hundrevis av artikler på en ettermiddag, «til avsky for ekte forskere som kan bruke måneder på en enkelt artikkel», som han formulerte det.
Det føles altså kjipt å oppdage at en er blitt plagiert, sier NMBU-rektor Curt Rice.
— Som forsker ønsker man ikke bare å oppdage nye ting eller komme med nye analyser, men som Khrono nylig har skrevet om, er anerkjennelse for å ha gjort dette avgjørende for å bygge en karriere, sier han og fortsetter:
— Når det er sagt, så er det kanskje viktig å skille mellom disse to tingene. Hvis vår agenda som forskere primært er å forstå alt som påvirker livene våre, da er det viktigere at ideen lever videre enn at alle som bruker den vet hvem som først har publisert om det, samtidig som dette vil se annerledes ut i forskjellige faser av en karriere.
At det er så lett å komme forbi plagiatkontroll viser blant annet at det fremdeles er mye å gjøre i utvikling av kunstig intelligens, mener han.
— Men de som ønsker å opptre uredelig kommer bestandig til å finne nye veier, sier Rice.
Mener mye ansvar vil ligge hos tidsskriftene
Dette skaper utrolig viktige utfordringer for akademia, slår han fast.
— Når vi for eksempel tilsetter noen der vi kjenner verken kandidaten eller miljøet kandidaten kommer fra (hvilket skjer for så vidt sjeldent), hvordan kan vi være trygg på søkerens kompetanse?
De som ønsker å opptre uredelig kommer bestandig til å finne nye veier.
Curt Rice
Rice mener mye av ansvaret for å bekjempe papirmøllene vil ligge hos tidsskriftene og sier de må utvikle kompetanse til å se mulige tilfeller av fusk, og at de må be fagfeller om å være obs på dette. Han mener også at det kan hende den gjennomsnittlige forskeren trenger mer kompetanse om det og at programmer for stipendiater og postdoktorer bør inkludere mer eksplisitt opplæring i hvordan det kan asvløres.
— Jeg skulle ønske at jeg kunne si at man bør forholde seg kun til noen spesifikke tidsskrifter, men det viser seg at selv de mest berømte går i fellen her, hvilket understreker nok en gang at det er meget farlig å vurdere folk ut ifra hvor de har publisert, sier Rice.
Er blitt vanskeligere å avsløre
Samtidig med at det er blitt lettere å produsere falske artikler, er det ifølge Bik blitt vanskeligere å skille falske artikler fra ekte.
— Kunstig intelligens kan produsere realistiske bilder og tekster, sier hun og legger til at mens de første artiklene hadde rare feil, er nyere artikler langt bedre på å skjule at dataene er falske.
— Jeg er overbevist om at vi har nådd det stadiet hvor vi ikke lenger kan se om en artikkel er falsk eller ikke.
— Gjør forlagene nok for å stanse dette?
— De har vært sene med å innse at det er et problem og kan bli hengende etter. Vi «vitenskapsdetektiver» kan fortelle dem hvilke artikler fra 2017-2021 som trolig er falske, men det er langt vanskeligere å fange opp de som sendes inn nå. Forlagene må være langt mer påpasselige med å be om bevis for at forsøkene faktisk fant sted, for eksempel at pasienter virkelig eksisterte, at innsendte bilder er ekte og så videre, sier Bik til Khrono.