ChatGPT har ikke ødelagt eksamen. Den har afsløret den

Mange en sen aften har jeg siddet ved spisebordet med en bunke opgaver og en stram deadline for at rette dem. Jeg plejede godt at kunne lide rettearbejdet, fordi det også var en effektiv feedback på hvad der var blevet opfattet af de studerende. Men i de sidste par år, så har jeg – og næsten alle undervisere i Danmark – ofte oplevet at se 3 eller flere besvarelser i træk, der var klare, velstrukturerede og velargumenterede. Samme glatte overflade. Ingen fejltrin, men samme særheder. En overfladisk forståelse, der er god nok, men aldrig helt synes at være konkret.

Og så melder tanken sig: hvem har egentlig skrevet hvad jeg læser?

Mange undervisere overvejer så, om de studerende har snydt. Men det mere ubehagelige spørgsmål der melder sig hos mig er, hvad jeg egentlig sidder og bedømmer.

Hvis teksten er skrevet af den studerende, kan den fortælle mig noget om vedkommendes evne til at strukturere, formulere og argumentere. Hvis teksten er skrevet af en AI-model, fortæller den måske mest om evnen til at betjene en AI-model. Hvis den er opstået gennem et længere samarbejde, hvor den studerende har valgt, kritiseret, omskrevet og kontrolleret resultatet, kan den dokumentere noget tredje.

Jeg kan se produktet. Jeg kan ikke se arbejdet bag det.

Det er ikke et nyt problem. Som undervisere har vi aldrig haft direkte adgang til at se de studerendes læring. Vi ser en opgave, en præsentation eller et svar til en eksamen og forsøger derfra at slutte os til, hvad den studerende har lært eller kunne i forvejen.

En hjemmeopgave kunne også før ChatGPT være skrevet af en klog storesøster, en privat tutor eller en medstuderende, der skyldte en tjeneste efter en julefrokost. Hele afsnit kunne være kopieret fra en bog, omskrevet fra en gammel opgave eller fundet gennem en målrettet søgning efter nogen, der allerede havde tænkt tanken.

Forestillingen om den gyldne tid før AI, hvor alle studerende sad dybt koncentrerede over støvede bøger og opbyggede deres viden sten for sten, bør behandles med en vis forsigtighed. Mange af stenene var hentet på Studienet.

AI har ikke ødelagt en tidligere perfekt eksamen, men den har gjort det vanskeligere at ignorere de problemer, der allerede var der.

Hvad måler eksamen egentlig?

Mange eksamener har længe belønnet evnen til at gengive viden, genkende en opgavetype og levere et svar i den forventede form. Den studerende placeres i et lokale, får et spørgsmål og skal inden for et bestemt tidsrum demonstrere, hvad vedkommende kan huske og formulere under pres.

I arbejdslivet ville den samme person normalt have adgang til kolleger, databaser, bøger, søgemaskiner, programmer og AI. Til eksamen fjerner vi en stor del af den distribuerede viden, som professionelt arbejde typisk bygger på, og undersøger derefter, hvad der er tilbage i hovedet på individet.

Det kan være relevant. En læge med en akut patient skal ikke begynde med en tre timer lang litteratursøgning. En jurist bør kunne genkende et juridisk problem, før hun slår detaljerne op. Paratviden er også nødvendig for at kunne vurdere, om et AI-svar er fornuftigt eller blot grammatisk selvsikkert.

Men mange eksamener er ikke nøje designet ud fra sådanne situationer. De fortsætter, fordi de er velkendte, administrerbare og nogenlunde lette at bedømme.

Opgaven udleveres. Besvarelsen afleveres. Karakteren registreres. Alle kan se, at eksamen har fundet sted.

Det er mindre tydeligt, hvad der blev målt.

Den skriftlige eksamen, som AI ikke kunne løse

Det er svært at forestille sig en skriftlig hjemmeeksamen, som AI ikke kan bidrage til at løse.

Vi kan gøre opgaven mere kompleks, lokal og praksisnær. Vi kan kræve bestemte teorier, særlige data, bilag, refleksioner over undervisningen eller inddragelse af en virksomhed, de studerende selv har arbejdet med.

Det gør måske opgaven vanskeligere. Det gør den ikke menneskeligt forbeholdt.

På Fudan University i Kina fik en professor ellers en tilsyneladende genial idé. I stedet for at besvare spørgsmål skulle de studerende formulere ti spørgsmål om pensum, som tre forskellige AI-modeller ikke kunne besvare tilfredsstillende. 51 studerende deltog, og spørgsmålene blev testet mod Claude, DeepSeek og MiniMax. Jo dårligere modellerne klarede spørgsmålene, desto bedre klarede den studerende sig.

Her var endelig en eksamen til AI-tiden. De studerende skulle ikke konkurrere med AI om at levere svar. De skulle demonstrere, at de kunne tænke dybere end maskinen.

Hvad brugte de så til at udvikle spørgsmålene?

AI, naturligvis.

Den studerende, der fik den højeste karakter, havde opbygget en hel AI-sværm, hvor flere modeller arbejdede sammen om at finde spørgsmål, som andre modeller ville snuble over. Eksamen blev derfor ikke en prøve i, om den studerende kunne tænke dybere end AI. Den blev en prøve i, hvem der kunne organisere AI mest effektivt.

Den eksamensform, der skulle besejre AI, blev spist af AI. Der er noget næsten poetisk over det.

Eksemplet viser, hvorfor jagten på den AI-sikre skriftlige eksamen sandsynligvis er forgæves. Der findes måske spørgsmål, som én bestemt model ikke kan besvare i dag. Men en anden model, en kombination af modeller eller en studerende med en bedre arbejdsgang kan muligvis gøre det.

AI kan levere svar. Den kan også skabe spørgsmål, evaluere andre AI-svar, simulere en bedømmer og optimere besvarelsen efter eksamensformatet.

Kræver vi transskriberede interviews i bilagene, kan AI såmænd også skabe et nydeligt interview, der aldrig har fundet sted. Respondenten vil være usædvanligt velformuleret, konsekvent og fri for sætninger som: “Øh, kan du lige gentage spørgsmålet?”

Den studerende kan uploade casen, pensum, noter, virksomhedsmateriale og tidligere feedback. AI kan hjælpe med problemformuleringen, teoriudvælgelsen, analysen, argumentationen og konklusionen. Er første svar for generelt, kan det gøres mere konkret. Virker sproget for kunstigt, kan det gøres mere personligt. Skal teksten ligne den studerendes normale stil, kan tidligere opgaver bruges som eksempel. Er den studerende bange for at svaret virker for godt, så indsætter man bevidst 3 misforståelser og 7 stavefejl.

Den skriftlige eksamen kan stadig være vanskelig. Vanskeligheden består bare ikke nødvendigvis i selv at kunne løse opgaven. Den kan bestå i at organisere en proces, hvor forskellige teknologier løser den.

Den dygtigste eksaminand kan derfor være den, der har den bedste model, det dyreste abonnement, den største kontekstgrænse eller den mest avancerede arbejdsgang.

Måske måler vi efterhånden, hvem der har det bedste digitale pitcrew.

Da 96 procent blev til 48,6

På Brown University i USA blev forskellen mellem produkt og kunnen synlig på en næsten grotesk måde.

En professor i økonomi havde for første gang i næsten tyve år gjort en midtvejseksamen til en hjemmeeksamen. Normalt lå gennemsnittet mellem 65 og 80 procent. Denne gang blev det 96 procent, selv om prøven efter hans egen vurdering var sværere end tidligere.

Noget så forkert ud. Flere af besvarelserne lignede ChatGPTs svar. De var ikke nødvendigvis åbenlyst fejlagtige, men de anvendte mærkelige og unødigt komplicerede veje frem til løsningen. På et spørgsmål valgte både ChatGPT og mange studerende en omstændelig metode, selv om en direkte argumentation havde været langt mere oplagt.

Professoren kunne ikke bevise, hvem der havde brugt AI. Mønstret var bare svært at overse.

Han flyttede derfor den afsluttende eksamen ind i et fysisk lokale. En tredjedel af de studerende droppede kurset eller mødte ikke op. Blandt dem, der tog eksamen, faldt gennemsnittet til 48,6 procent. Det havde tidligere aldrig været under 65.

En hjemmeeksamen og en fysisk eksamen er naturligvis to forskellige situationer. De studerende kan være blevet påvirket af de ændrede vilkår og et betydeligt pres. Men forskellen er så voldsom, at det er svært at fastholde, at de to prøver målte den samme kunnen.

Hjemmeeksamen målte måske især, hvad de studerende kunne producere med adgang til AI. Den fysiske eksamen målte, hvad der var tilbage, da værktøjet blev fjernet.

For nogle var der tilsyneladende ikke så meget tilbage.

Det illustrerer risikoen for en særlig form for afhængighed. Hvis du gennem et kursus lader AI formulere argumenterne, løse problemerne og forklare teorien, kan du godt fremstille produkter, der ligner læring. Når værktøjet fjernes, bliver det synligt, om arbejdet nogensinde blev dit eget.

Du har måske ikke lært økonomi. Du har lært at få økonomiske svar ud af en maskine.

Det kan sagtens være en relevant professionel kompetence. I arbejdslivet vil du også benytte teknologi. Men så bør eksamen være ærlig om, hvad den måler.

Hvis opgaven bedømmes, som om den dokumenterer selvstændig faglig kunnen, mens den i praksis dokumenterer teknologisk produktionskapacitet, begynder eksamensbeviset at love mere, end det kan holde.

Så tager vi den bare mundtligt

Det oplagte svar på ChatGPT er den mundtlige eksamen,

Her sidder den studerende foran mig. Jeg kan stille spørgsmål, ændre retning, bede om forklaringer og se, hvad der sker, når standardsvaret ikke længere passer. Den studerende kan ikke forsvinde i tre timer og vende tilbage med et poleret AI-svar.

Men AI forsvinder ikke fra den mundtlige eksamen (eller den skriftlige hvis vi går over til papir og blyant). Den flytter bare om bag scenen.

Den kan udarbejde præsentationen, forudsige mine spørgsmål, formulere svar og gennemføre prøveeksamener. Den kan spille en utålmodig censor, en venlig underviser eller den professor, der nægter at acceptere ordet “kontekstafhængigt” som et komplet svar.

Det kan føre til fremragende læring. Den studerende kan øve sig, få modspørgsmål, opdage huller og forbedre sin forståelse.

Det kan også føre til et manuskript.

Forestil dig en studerende, der har bedt AI generere 40 sandsynlige spørgsmål og perfekte svar. I ugen før eksamen læser hun dem igen og igen. Hun lærer begyndelserne, overgangene og nogle formuleringer, der lyder akademiske uden at være så præcise, at de risikerer at blive direkte forkerte.

Til eksamen stiller jeg så spørgsmål nummer 17. Den studerende leverer svaret. Det er flydende. Det er korrekt. Det er næsten ordret det svar, AI skrev tre dage tidligere.

Har hun lært noget?

Måske. Gentagelsen kan danne et grundlag for en forståelse. Hun kan have undersøgt begreberne, sammenlignet svarene og gjort stoffet til sit eget.

Hun kan også have flyttet AI’s output fra skærmen ind i korttidshukommelsen og derefter afspillet det uden hjælpemidler. Den mundtlige eksamen er i så fald blevet en biologisk højttaler for et maskinproduceret manuskript.

Jeg kan forsøge at bryde manuskriptet:

“Hvad betyder det konkret?”

“Hvilken antagelse bygger du på?”

“Hvad ville få dig til at ændre mening?”

“Hvordan passer det med det, du sagde før?”

Her bliver den studerende nødt til at tænke i situationen. Det er sandsynligvis noget af det bedste, vi kan gøre.

Men den mundtlige eksamen har også sine svagheder. Den varer måske tyve eller tredive minutter. Den studerende kan være nervøs, have en dårlig dag eller være usædvanligt dygtig til at tale overbevisende. 

Censor kan foretrække én type svar frem for en anden. De studerende kan informere hinanden om, hvilke spørgsmål der bliver stillet, og hvilke svar der modtages godt. Dermed kommer tidspunktet på dagen også til at spille en rolle. Den første studerende går ind med et blankt landkort. Den sidste har måske fået Google Maps, trafikinformation og anmeldelser af parkeringsforholdene.

Efter mere end et årti som underviser, må jeg bare konkludere: Der findes ikke en eksamensform, hvor læringen træder nøgen frem og fremviser legitimation.

Fra præstation til proces

Et ofte hørt svar er derfor, at vi skal flytte opmærksomheden fra den afsluttende præstation til processen.

I stedet for kun at se på slutproduktet kan vi følge, hvordan den studerende arbejder, træffer valg, anvender feedback og udvikler sig. Den studerende kan aflevere udkast, forklare ændringer, dokumentere brugen af AI og få løbende feedback før den endelige aflevering.

Det kan være mere læringsorienteret end en enkelt eksamen. Den studerende får mulighed for at forsøge, fejle, modtage feedback og prøve igen. Jeg kan se, om arbejdet bliver bedre, og om valgene efterhånden bliver mere selvstændige.

AI kan indgå gradvist i uddannelsen. Først som et værktøj, den studerende lærer at stille spørgsmål til. Senere som en samarbejdspartner, der skal kontrolleres og kritiseres. Til sidst som en naturlig del af den professionelle praksis.

Det lyder glimrende, men problemet er, at det kræver tid.

Hver procesaflevering skal læses. Hver feedbackrunde skal gennemføres. Hver redegørelse for AI-brug skal vurderes. Hver studerendes progression skal følges og i nogle tilfælde dokumenteres.

Bruger jeg mere tid på at registrere og kontrollere processen, har jeg mindre tid til at undervise i faget. Den læringsorienterede løsning kan derfor ende med at stjæle tid fra læringen, og så ender jeg med – i den korrekte bedømmelses navn – at bruge mere tid på at vurdere mine studerendes evner end at udvikle dem.

Det første argument mod procesorienteret bedømmelse er derfor påmindelsen om, at timerne kun kan bruges én gang. 

Eksamen er blevet sit eget fag

Jeg har på et tidspunkt undervist på en uddannelse på CBS med meget høje adgangskrav. De studerende var fagligt stærke, men de var også optaget, fordi de gennem gymnasiet havde været usædvanligt gode til at levere det, uddannelsessystemet bad om. Gymnasiet havde kvitteret ved at give dem en serie af 12-taller.

Jeg opdagede på et tidspunkt, at de studerende på denne uddannelse havde et mere udviklet sprog for eksamen, end vi undervisere havde. De kunne tale meget præcist om opgavetyper, bedømmelseskriterier, forventninger, vægtning og sandsynlige spørgsmål.

De diskuterede ikke kun, hvad der var fagligt interessant. De diskuterede, hvordan det fagligt interessante skulle pakkes, for at det kunne genkendes som en fremragende eksamenspræstation.

De vidste, hvornår et svar skulle være bredt, hvornår det skulle være præcist, hvornår de skulle nævne en begrænsning, og hvornår en begrænsning blot ville skabe tvivl om deres sikkerhed. De havde ord, som mine kollegaer og jeg ikke havde for vores eksamener.

Det var ikke snyd. Det var kunnen.

De havde lært eksamen som selvstændigt fag.

Frygten er, at uddannelsessystemet måske mest af alt fremmer at lære dette fag: Den dygtige eksaminand forstår, at eksamen er en genre med egne regler, ritualer og forventninger.

Du skal vide noget. Du skal også vide, hvordan viden skal se ud i netop denne situation. Du skal aflæse opgaveformuleringen, forstå hvor meget usikkerhed du må vise, levere et svar i den ønskede længde og kende forskellen mellem en interessant sidebemærkning og en farlig afvigelse.

AI kan gøre dette eksamenssprog tilgængeligt for flere. Den kan analysere kriterierne, forklare genren og træne den studerende i sandsynlige spørgsmål. Det kan reducere en social ulighed.

Den kan også gøre spillet endnu vigtigere. Når alle kan producere et nogenlunde fagligt svar, bliver forskellen måske, hvem der bedst kan få det til at ligne det svar, eksamen belønner.

En høj karakter viser derfor ikke nødvendigvis, hvem der har lært mest, tænkt dybest eller kan handle bedst i virkeligheden. Den viser, hvem der leverede den præstation, eksamenssituationen var konstrueret til at belønne.

Det er ikke ingenting. At aflæse forventninger og levere under pres er også en kompetence.

Vi bør bare kalde den ved dens rette navn: Karakteren viser måske først og fremmest, hvor godt den studerende har forstået eksamen.

Vi laver journalistik om AI, fordi udviklingen går hurtigere end den offentlige samtale.

På AI Portalen forsøger vi at skabe overblik, perspektiv og kritisk indsigt i en teknologi, der allerede former alt fra arbejdsmarkedet til demokratiet — ofte uden at nogen bremser op og forklarer, hvad der foregår.

Hvis vores artikler hjælper dig med at forstå AI lidt bedre, så overvej at støtte arbejdet.

Et medlemskab gør én ting mulig: at vi kan blive ved med at undersøge, dokumentere og forklare, hvordan AI påvirker Danmark — uden investorer, uden PR-interesser og uden at jage hype.

Bliv medlem og vær med til at styrke uafhængig journalistik om AI.