Slik lagde underviserne «juksesikker» eksamen

Da pandemien tvang studentene hjem fra campus, fikk NMBU-underviserne Jon Olav Vik og Kathrine Frey Frøslie en ny utfordring:

Hvordan kunne de lage en rettferdig heldigital hjemmeeksamen for 400 studenter, uten at det var fritt fram for å dele svar og jukse?

Vik og Frøslie deler nå metoden som gjorde at studentene i statistikkfaget STAT100 ved Norges miljø- og biovitenskapelige universitet (NMBU) kunne ta en eksamen som vanligvis har flere fasitsvar, uten å jukse.

Slik utformet de oppgavene

Statistikk-eksamen ble avholdt som en flervalgseksamen med 40 spørsmål i Canvas, læringsplattformen som brukes ved NMBU.

Nøkkelen for NMBU-forskerne var å programmere inn tilfeldigheter i de statistiske scenarioene for hver oppgave. Hovedtrekkene var de samme, men viktige elementer av tekst, tall og figurer ble tilfeldig generert for hver student og flettet inn i oppgavetekster og svaralternativer.

Med metoden kan man generere et stort utvalg utfordringer.

Slik kunne det arte seg for to ulike oppgaver, se forskjell både i tekst, figurer og datatabellene (du kan se bildene i større format ved å trykke på forstørrelsesglasset oppe i høyre hjørne):

Oppgavene ble programmert i noe som kalles «R markdown», et format som blander tekst og programmeringsspråket «R» og som resulterer i statistikk-tabeller og grafikk. Deretter brukte de R til å automatisk legge oppgavene inn i læringssystemet Canvas og tildele dem til hver student.

Fordi både fasiten og detaljene i selve spørsmålsstillingen var forskjellig, var muligheten for å hjelpe andre kraftig redusert. Studentene fikk like lang tid som på en fysisk eksamen — tre og en halv time.

Høres vanskelig ut — dette kreves

Jon Olav Vik og Kathrine Frey Frøslie forklarer at man for å kunne gjennomføre det de gjorde, må kombinere vitenskapelig programmering, webprogrammering og fagkompetanse til å utforme selve oppgavene.

— Dette begynte jeg opprinnelig med for å lage mengdetrening i et kurs i data-analyse. Det krever mye research og tenking for å utforme effektive oppgaver, men de varieres ved for eksempel å fokusere på ulike datasett, målevariabler eller analysemetoder. Slik får studentene «uventede» utfordringer som krever at de aktivt henter fram og bruker kunnskapen og ferdighetene de skal trene opp, forteller Jon Olav Vik.

— Det er en voldsom jobb å lage eksamensoppgaver. Noen mener at arven etter undervisere ikke først og fremst er forelesningene, men alle oppgavene. Jeg tror ikke studenter vet hvor mye tenking og omsorg som ligger bak å lage relevante oppgaver som tester dem, sier Frøslie.

De to forskerne framhever viktigheten av at studieadministrasjon og bestillere av datasystemer er bevisst på potensialet i teknologien og med et kritisk blikk kan vurdere om teknologien holder det den lover. De ønsker seg felles standarder og løfter blant annet fram at data må kunne tas ut av ett datasystem og kunne puttes inn i et annet.

— Det er viktig at studieadministrasjonen har kompetanse om verktøyene vi skal bruke og kan gi veiledning i både manuell og programmatisk bruk av Canvas, sier Frøslie.

Derfor blir det vanskelig å jukse

Da studenter ved NTNU denne uka ble mistenkt for juks, skal de ha delt oppgaver og løsninger med hverandre.

— Gir vi studentene de samme oppgavene, så tester vi kanskje deres sosiale nettverk og ikke hva de faktisk kan, sier Jon Olav Vik.

I faget til Vik og Frøslie er oppgavene ulike. Men med hjemmeeksamen mister forelesere også kontrollen på om studenter jukser ved å sitte sammen. Hva hvis de diskuterer hverandres ulike oppgaver?

— Vi kan ikke garantere at de ikke sitter sammen, selv om det ikke er lov og regnes som juks. Men de vil ikke rekke å gjøre mange andre sine oppgaver. Oppgavene krever at man tenker selv, og studenter skal komme fram til ulike konklusjoner. Når oppgavene er stokket om og tilpasset tallene, må studentene bruke mye tid på å tenke ut hva som er galt og ikke, og det rekker de ikke, mener Frøslie.

— Man kan jo ikke garantere at studenter ikke forklarer ting for hverandre, for oppgavene dekker samme pensum. Men man hindrer at fasitsvar distribueres og minimerer dermed antall juksemakere, legger Vik til.

Vik og Frøslie mener de langt på vei har klart å lage en rettferdig eksamen.

— Noen prøver forhindre juks ved å legge på tidspress og gjøre så studenter ikke kan gå tilbake og rette svar, for eksempel. Men dette favoriserer studenter som er gode på stressmestring og er raske på datamaskin, sier Frøslie.

— Med tanke på eksamen er det viktigste å gjøre den rettferdig. Vi prøvde å finne oppgaver som ville gjøre at svarene reflekterte forståelse, og ikke bare regnekunnskaper og hvor mange venner du har, sier Vik.

Du kan se et kort foredrag de to holdt om metoden forrige uke her: