Jeg, en selverklæret AI-ekspert

Det eneste, der vokser mere eksponentielt end kunstig intelligens, er antallet af selverklærede AI-eksperter. Jeg er muligvis en af dem. Men hvad skal der egentlig til, før man med rimelighed kan kalde sig ekspert i AI?

Jeg skriver en del om AI. Jeg underviser i det, holder oplæg om det og bliver jævnligt spurgt til råds om kunstig intelligens. Nogle gange endda om ting, hvor jeg faktisk kan svare noget mere end ”det ved jeg ikke”.

Nogle gange får det mig til at tænke over om jeg så er ham Just, der skriver om AI med en lille smule ironi og sarkasme eller er jeg den selverklærede AI-ekspert Dr. Prompt?

For hvem er egentlig en AI-ekspert? Der er ikke kommet nogen fra Styrelsen for AI-Eksperter forbi mit kontor med et diplom. Jeg har ikke bestået en særlig eksamen. Ingen faglig organisation har vurderet mine kompetencer og meddelt omverdenen, at nu kan de trygt ringe til mig.

Jeg har arbejdet meget med AI. Jeg har undervist i det. Jeg har skrevet om det. Jeg har forklaret det til andre. Og efterhånden er der mennesker, der spørger mig, når de vil vide noget om AI.

Det er faktisk nogenlunde den dokumentation, mange AI-eksperter byder på.

På den ene side er det ikke ingenting. Erfaring tæller. Hvis en person har arbejdet med Google Ads hver dag i ti år, vil jeg forvente, at vedkommende ved mere om Google Ads end mig. Det gælder også AI. Man kan lære ganske meget af at bruge teknologien intensivt, teste den, undervise i den og forsøge at forklare den for andre.

På den anden side er der et problem. Man bliver ikke kok af at have spist på mange restauranter.

Jeg hælder derfor til, at vi skal være mindre optagede af, om nogen er AI-ekspert, og mere optagede af, hvad de egentlig er ekspert i, og hvad de kan dokumentere.

Flere AI-guruer end kaffebarer

Jeg er langt fra den første, der har fået øje på problemet. Den gode John Winsor, der hygger sig over på Harvard Business Schools AI Institute gav sidste år sin mening til kende med Forbes-artiklen Why Nobody Is An AI Expert Yet: Hvorfor ingen endnu er AI-eksperter.

Hans tørre konstatering var, at “Der synes allerede at være flere AI-guruer end kaffebarer.” Hvis det lyder som en mindre overdrivelse, så lad mig vise dig mit LinkedIn-feed. Her ser jeg jævnligt opslag fra AI-strateger, AI-transformationseksperter, AI-futurister, AI-evangelister og forskellige varianter af mennesker, der hjælper virksomheder med at unlocke the transformative power of AI. Nogle af dem er sikkert fremragende. Andre har muligvis først selv fået låst op for adgangen til deres nye system sidste torsdag.

Der findes sågar allerede forskning om selverklærede AI-eksperter, som f.eks. artiklen The mechanisms of AI hype and its planetary and social costs, der stiller skarpt på AI-eksperter og deres overdreven forestilling om egne AI-kompetencer. Her er “væksten i antallet af selverklærede AI-eksperter” en naturlig del af AI-hypen. Når et nyt område eksploderer, organisationer mangler viden, og alle gerne vil forstå, hvad der foregår, opstår der selvfølgelig et marked for mennesker, som kan forklare det.

Det er let at gøre grin med de selverklærede eksperter, men alternativet kan ikke være, at ingen må vide noget om AI, før feltet er gammelt nok til, at vi har etableret autorisationsordninger og kandidatuddannelser i præcis den teknologi, vi anvender lige nu. Nye teknologier får nødvendigvis eksperter, før der findes en veletableret måde at definere denne ekspertise på. Så problemet er næppe ordet selverklæret. Problemet opstår, når selverklæringen er hele dokumentationen.

Hvad er en ekspert egentlig?

Jeg er heller ikke den første, der har fået den tanke. Den tyske IT- chef Thomas Giehl konstaterede tørt, at vi har AI-eksperter overalt og ingen steder. Han havde fem personer til samtale, der alle havde præsenteret sig som AI-eksperter, men kun én af dem burde efter hans vurdering bære titlen.

Og eftersom Giehl er tysker, så brugte han naturligvis anledningen til at gå i gang med at definere, hvad en ekspert egentlig er. Hans definition er faktisk ret god. En ekspert skal have dyb faglig viden, men skal samtidig kunne løfte hovedet fra sit eget lille hjørne og forstå, hvordan denne viden hænger sammen med resten af verden. I AI-tilfældet betyder det både en solid forståelse af teknologien og en forståelse for, hvad den gør ved virksomheder, mennesker og samfund.

Som Giehl formulerer det, er ægte ekspertise en kombination af “teknisk knowhow og forståelse for de bredere konsekvenser.” Det kan jeg sådan set godt skrive under på. Spørgsmålet er snarere, hvor dybt man skal ned i teknologien. Hvis jeg skulle udvikle nye sprogmodeller, ville min tekniske viden være pinligt utilstrækkelig. Hvis opgaven er at undervise i, hvordan generativ AI fungerer, hvad modellerne kan og ikke kan, hvorfor de producerer de svar, de gør, og hvordan man bruger dem kvalificeret, så mener jeg faktisk, at min tekniske viden er rigeligt dyb.

Og måske er det netop dér, ekspertbegrebet bliver interessant. For hvor Giehl taler om ekspertise helt generelt, har AI skabt et ekstra problem: Vi taler om “AI-eksperter”, som om AI var ét fagområde.

Det er omtrent lige så præcist som at præsentere nogen som “ekspert i internet”.

For hvad er det egentlig, vi forventer, at en AI-ekspert er ekspert i?

Kan du bygge en AI, eller kan du bruge en?

Jeg ser mindst to ret forskellige områder.

Det ene er AI som teknologi. Her handler det om, hvordan AI skabes og bygges. Machine learning, modelarkitektur, træningsdata, neurale netværk, embeddings og alt det andet, hvor jeg godt kan føre en samtale et stykke tid, men nødigt vil opdage, at personen overfor er professor i datalogi.

Det andet er AI som værktøj. Her handler ekspertisen om anvendelsen. Hvordan bruger vi teknologien? Hvordan designer vi gode arbejdsgange? Hvordan vurderer vi output? Hvornår virker prompting? Hvornår fejler modellerne? Hvornår skal vi kontrollere svaret, og hvornår burde vi måske slet ikke have brugt AI?

Det er ikke kun en bekvem opdeling, jeg har fundet på for at redde min egen ekspertstatus.

En gennemgang af 124 studier om AI-kompetencer i artiklen AI Literacy in K-12 and Higher Education in the Wake of Generative AI konstaterer tørt, at “Hverken AI eller kompetence er enkle begreber,” men finder de tre forskellige perspektiver på AI: AI som tekniske detaljer, AI som værktøj og AI som et sociokulturelt fænomen.

Det ligger ret tæt på min egen intuition. Man kan vide meget om at konstruere en motor uden at være den bedste racerkører. Og man kan være en fantastisk racerkører uden selv at kunne konstruere motoren.

På den ene side bør den, der kalder sig AI-ekspert, vide noget om den motor, vedkommende kører rundt med. Ellers risikerer vi at få eksperter, der kan demonstrere 47 smarte ChatGPT-tricks, men ikke forklare, hvorfor nogle af dem virker.

På den anden side ville det være mærkeligt at beslutte, at kun den person, der kan bygge teknologien, kan være ekspert i at anvende den.

Her hælder jeg klart til den brede forståelse. Men med en betingelse: Man skal fortælle, hvilken del af AI man faktisk ved noget om.

Jeg kan ikke kode

Jeg er ikke programmør. Hvis du sætter mig foran 300 linjer Python-kode og beder mig finde fejlen, vil mit første professionelle greb sandsynligvis være at kopiere det hele ind i ChatGPT.

Det kan jeg til gengæld være ret god til.

Men det gør mig ikke til ekspert i programmering.

Derfor ville jeg også være forsigtig med at stille mig foran 40 softwareudviklere med et heldagskursus med titlen Bliv en bedre programmør med AI. Jeg kunne sikkert lære dem noget om sprogmodeller, prompting og kritisk vurdering af output. Måske kunne jeg vise dem værktøjer eller arbejdsformer, som nogle af dem ikke kendte.

Men på et tidspunkt ville en udvikler spørge om noget meget specifikt vedrørende en stor eksisterende kodebase. Og så ville jeg sige: “Det er et virkelig godt spørgsmål.” Det er et gammelt konsulentsvar, som betyder: Jeg aner det ikke, men du skal ikke opdage det lige med det samme.

Det bringer mig til en tredje form for ekspertise: AI inden for et bestemt fagområde.

For her tror jeg, at man skal passe på med forestillingen om, at generel AI-viden uden videre kan flyttes fra fag til fag. Hvis du skal undervise jurister i at bruge AI juridisk forsvarligt, hjælper det meget at vide noget om jura. Hvis du skal rådgive læger om brugen af AI i diagnostik, er det en fordel, hvis din sundhedsfaglige ballast består af lidt mere end fire sæsoner af Grey’s Anatomy. Og hvis du vil lære programmører at programmere bedre med AI, bør du nok kunne programmere.

Jeg siger ikke, at man nødvendigvis selv skal være den største domæneekspert i lokalet. Det ville gøre tværfaglig rådgivning næsten umulig. Men jo længere man bevæger sig fra generelle AI-principper og ind i konkrete faglige beslutninger, desto vigtigere bliver domæneviden.

Verdensorganisationen UNESCO laver lidt den samme skelnen i deres AI Competency Framework for Teachers. Her beskriver de kompetencer for lærere, som skal: “anvende AI til at understøtte læring inden for deres fagområder.” Det er noget andet end at uddanne specialister i avanceret AI-teknologi.

Det virker rigtigt på mig. Jeg kan godt undervise en gruppe marketingfolk i generativ AI, fordi jeg både kan bidrage med AI-viden og forstå, hvad de forsøger at opnå med marketing. Jeg ville være væsentligt mere ydmyg, hvis min onkel ringede og spurgte: “Kan du lige komme og lære vores kirurger at bruge AI bedre under operationer?”

Her ville Dr. Prompt nok høfligst sige nej.

Du behøver ikke kunne bygge motoren

Der findes samtidig folk, der gerne vil stå på mål for, at teknisk kunnen ikke skal være den eneste adgangsbillet. En af de mest citerede artikler om AI-kompentencer, What is AI Literacy? Competencies and Design Considerationskonkluderer at “programmeringskompetence er ikke nødvendigvis en forudsætning for AI-kompetence.”

Kompetent AI-anvendelse kan bestemt være et selvstændigt område udover IT, men på den ene side kan jeg godt forstå dem, der bliver skeptiske, når en “AI-ekspert” ikke kan skrive en linje kode. AI er trods alt software, matematik og datalogi. En fuldstændig teknologiblind anvendelsesekspert kan meget let komme til at fortælle historier om teknologien, som ikke holder.

På den anden side kræver vi ikke, at en ekspert i digital markedsføring kan programmere Google Ads. Vi kræver heller ikke, at en fotograf kan fremstille sensoren i sit kamera, eller at en pilot kan bygge en jetmotor.

Jeg hælder derfor til et rimeligt kompromis: En ekspert i anvendelsen bør forstå teknologien godt nok til at forstå dens muligheder og begrænsninger. Men vedkommende behøver ikke nødvendigvis kunne bygge den. Det er nogenlunde det krav, jeg selv prøver at leve op til. Prøv gerne at kontrollere det.

Vis mig dit arbejde

For hvordan skal man egentlig vurdere, om en selverklæret AI-ekspert ved noget?

Her kan vi låne et princip fra to dygtige professorer fra Princeton, der har skrevet bogen AI Snake Oil. Titlen kræver måske lidt oversættelse for et dansk publikum. Snake oil er et gammelt amerikansk udtryk for et tvivlsomt mirakelmiddel, typisk solgt med meget store løfter af en sælger, som det var klogt at holde på sin tegnebog omkring. En snake oil salesman er derfor noget i retning af en veltalende plattenslager med et mirakelprodukt.

De to Princeton-professorer bruger udtrykket om AI, der: “ikke virker som lovet og sandsynligvis heller ikke kan virke som lovet.” Deres arbejde handler blandt andet om at skelne mellem de områder, hvor AI faktisk virker, og de produkter og påstande, hvor markedsføringen er løbet langt foran dokumentationen.

Jeg kan godt lide princippet, og jeg synes, vi skal være så urimelige at anvende det på eksperterne også.

Virker eksperten som lovet?

Det er nemt at skrive AI Expert, Keynote Speaker og Advisor på LinkedIn. Der er ingen optagelsesprøve, og LinkedIn beder ikke om dokumentation, før du tilføjer Helping organisations navigate the AI revolution under dit profilbillede.

Så kig et skridt videre.

Hvad har personen faktisk lavet? Findes der analyser, forskning, bøger, kode, metoder, undervisningsmaterialer, cases eller andre ting, hvor vi kan undersøge kvaliteten af arbejdet?

Jeg har eksempelvis skrevet en guide til prompting.

Det gør mig ikke automatisk til ekspert i prompting. Det ville være en lidt belejlig cirkelslutning: Jeg ved meget om prompting, fordi jeg har skrevet en guide om prompting, og guiden må være god, fordi den er skrevet af en ekspert i prompting.

Den guide giver i det mindste noget at skyde på. Du kan læse den. Du kan prøve metoderne. Du kan sammenligne dem med forskningen. Du kan finde steder, hvor jeg tager fejl. Du kan konkludere, at jeg faktisk ved en del om prompting. Eller du kan konkludere, at Dr. Prompt burde have beholdt sit dagjob.

Begge dele er helt fint. Pointen er, at ekspertisen kan evalueres.

At have promptet meget er heller ikke nok

Det er relevant, fordi forskning i prompting netop tyder på, at erfaring ikke automatisk bliver til ekspertise. I et forskningsstudie med den fremragende titel Why Johnny Can’t Prompt: How Non-AI Experts Try (and Fail) to Design LLM Prompts kiggede nogle amerikanske forskere på hvordan ikke-eksperter arbejdede med prompts, og konstaterede, at de “afprøvede prompts opportunistisk frem for systematisk.”

De forsøgte sig frem. Noget virkede. Så ændrede de lidt. Noget andet virkede. Så prøvede de noget tredje.

Det lyder mistænkeligt meget som den måde, de fleste af os lærte ChatGPT på. Inklusive mig. Og den tilgang er egentlig ikke dum. Eksperimenter er en glimrende måde at lære nye værktøjer på. Problemet opstår, hvis jeg har prøvet rigtig mange ting bliver slutpunktet.

For ekspertise må efter min opfattelse kræve noget mere. Erfaringerne skal på et tidspunkt systematiseres. Man skal undersøge, om det, man tror virker, faktisk virker. Man skal kunne forklare, hvornår metoden ikke virker. Og man skal helst kunne ændre mening, når dokumentationen ændrer sig.

Ellers er tusind timers ChatGPT-brug bare tusind timers ChatGPT-brug. Jeg har også brugt ganske mange timer på Netflix uden at skrive Streaming Expert på LinkedIn. Endnu.

Der har vi kernen til, at jeg synes, man skal forlange dokumentation.

Generativ AI har gjort det meget tydeligt, at veltalenhed og korrekthed ikke er det samme.

En sprogmodel kan levere et fantastisk svar. Det kan være klart, overbevisende, velformuleret og leveret med en sikkerhed, som får dig til at føle, at her er der styr på det.

Og svaret kan stadig være forkert.

Jeg kan ikke lade være med at tænke, at præcis den samme risiko findes, når vi vælger mennesker til at fortælle os om AI.

En flot præsentation dokumenterer, at personen kan lave en flot præsentation. En god sceneoptræden dokumenterer, at personen er god på en scene. Mange følgere dokumenterer, at mange mennesker følger personen.

Alt det kan sagtens hænge sammen med ekspertise. Jeg ville faktisk være mistænksom over for den modsatte påstand. Hvis en person gennem mange år har fået mange dygtige mennesker til at lytte, læse og invitere vedkommende igen, så fortæller det selvfølgelig noget.

Men det fortæller ikke nødvendigvis, at det faglige indhold er korrekt.

Og her er parallellen til AI næsten lidt for smuk.

Vi har brugt de seneste år på at lære folk: Tro ikke på et svar, bare fordi ChatGPT formulerer det overbevisende. Kontroller det.

Måske skulle vi anvende samme regel på dem, der underviser os i ChatGPT.

Så er jeg AI-ekspert?

Jeg er stadig ikke helt sikker. Hvis du med AI-ekspert mener en person, der kan bygge store sprogmodeller, diskutere modelarkitektur på forskningsniveau og optimere neurale netværk, så nej. 

Hvis du mener en person, der gennem flere år har arbejdet intensivt med anvendelsen af generativ AI, undersøgt prompting, skrevet om det og undervist andre i brugen af teknologien, så synes jeg efterhånden, at jeg har et rimeligt krav på en form for ekspertise.

Men jeg vil gerne have den afgrænset.

Jeg ved noget om anvendelsen af generativ AI. Jeg ved noget om prompting. Jeg ved en del om AI i undervisning og uddannelse og om anvendelsen inden for nogle af de fagområder, jeg selv arbejder med.

Jeg er ikke ekspert i alle de ting, der kan stå efter bogstaverne AI.

På den ene side gør den afgrænsning titlen “AI-ekspert” lidt besværlig. Den kræver efterhånden en fodnote.

På den anden side er det måske netop pointen. Hvis en person uden videre kan være ekspert i et felt, der strækker sig fra neurale netværk og robotteknologi til marketing, jura, undervisning, billedproduktion og programmering, så er ekspertbegrebet blevet så bredt, at det næsten ikke fortæller noget.

Så jeg tror, jeg beholder min egen titel lidt endnu: Den selverklærede AI-ekspert Dr. Prompt.

Der er trods alt en vis forbrugeroplysning i ordet selverklæret.

Du ved præcis, hvem der har udstedt diplomet.

Vi laver journalistik om AI, fordi udviklingen går hurtigere end den offentlige samtale.

På AI Portalen forsøger vi at skabe overblik, perspektiv og kritisk indsigt i en teknologi, der allerede former alt fra arbejdsmarkedet til demokratiet — ofte uden at nogen bremser op og forklarer, hvad der foregår.

Hvis vores artikler hjælper dig med at forstå AI lidt bedre, så overvej at støtte arbejdet.

Et medlemskab gør én ting mulig: at vi kan blive ved med at undersøge, dokumentere og forklare, hvordan AI påvirker Danmark — uden investorer, uden PR-interesser og uden at jage hype.

Bliv medlem og vær med til at styrke uafhængig journalistik om AI.