OpenAI, der stod bag GPT-3.5, som ChatGPT er baseret på er nu kommet med efterfølgeren GPT-4. Den kraftfulde foundational language model sætter fokus på både muligheder og risici ved kunstig intelligens.
”Vi har skabt GPT-4, den seneste milepæl i OpenAI’s bestræbelser på opskalering af deep learning. GTP-4 er en stor multimodal model (den accepterer billede- og tekst-input og generer tekst-output), der, selvom den dårligere end mennesker til en række scenarier fra den virkelige verden, præsterer på linje med et menneske på forskellige professionelle og akademiske benchmarks,” Sådan skriver OpenAI på deres hjemmeside. Hvad det betyder, skal jeg nok komme ind på om lidt. Først skal vi se på, hvad GPT-4 er for en størrelse, hvad der adskiller den fra sine forgængere og om postyret, der er opstået om den er berettiget.
GPT-4 er en foundational model
GPT-4 står for ”generative pre-trained transformer” og det henviser til at GPT-4 er det man kalder en såkaldt foundation model bygget op om det man kalder en transformer arkitektur. Det vil føre for vidt at gå i dybden med det her, men hvis du er interesseret, kan du læse mere her og her. Dybt forenklet betyder det, at den måde som foundation modeller er deep learning modeller, der dels bygget op om et langt mindre datasæt end tidligere deep learning modeller, man kan genbruge datasæt fra andre modeller og at måden de lærer fra datasættene på er self-supervised eller med andre ord, at modellen selv lærer ud fra de data den får. I modsætning til før i tiden, hvor modellerne blev fodret med en masse viden, så består deres diæt nu af data, som de selv uddrager viden fra.
GPT4 er den seneste i en række af foundational language models, den første GPT fra 2018 blev efterfulgt af GPT-2 i 2019 og GPT-3 i 2020. ChatGPT, som du utvivlsomt har hørt om og måske ovenikøbet selv har prøvet er bygget på en GPT-3.5 fra 2022. ChatGPT er en conversational model eller chatbot om du vil. Neurale netværk er også den teknologi, som Siri bruger til talegenkendelse og selvkørende biler bruger til at identificere fodgængere, trehjulede cykler eller havetrampoliner (med skiftende held).
Når OpenAI kalder det en multimodal model betyder bare, at den kan flere ting. GPT-4 kan analysere flere billeder på en gang og analysere sig frem til meningen. Det betyder også, at den fx kan forstå en tegneseriestribe over flere billeder eller hente informationer ud af et diagram.
Den finder stadigt på ting
OpenAI mener selv, at GPT-4 er et stort skridt fremad i udviklingen af kunstig intelligens og indeholder klare forbedringer i forhold til forgængeren.
”For at forstå forskellen på de to modeller testede vi på en række forskellige benchmarks, herunder ved at simulere eksamener, der oprindeligt var designet til mennesker,” fremgår det af OpenAI’s hjemmeside. En af de eksamener, som OpenAI satte GPT-4 var en generel bar exam (juridisk eksamen), hvor GPT-4 bestod med et resultat, der var markant bedre end mennesker.
Illustration: et udsnit af de eksamener GPT-4 har været igennem
Ligesom sin forgænger GPT-3 er GPT-4 trænet på store mængder data hentet fra internettet. Dens svar på spørgsmål og sætninger bygger på en statistisk vurdering af hvad det rigtige svar er baseret på lignende svar, den finder i sit datasæt. Det betyder dog, at den til tider opfinder fakta, hvis den ikke lige er hundrede procent sikker på svaret eller at den sviner brugeren til, hvis den får forkerte input.
“Selvom de har gjort store fremskridt, er den tydeligvis ikke pålidelig,” siger professor emeritus fra University of Washington og grundlægger af Allen Institute for AI, Oren Etzioni til The Guardian. ”Det varer lang tid før du ønsker at nogen GPT skal drive dit atomkraftværk.”
Den er godt lavet men ikke ny
GPT-4 er imponerende teknologi, men det er ikke ny teknologi. Lederen af Metas AI-afdeling, Yann Lecun beskriver ChatGPT lidt i stil med en iPhone.
”Når det gælder underlæggende teknologi, så er ChatGPT ikke særlig innovativ,” udtaler Yann LeCun i et webinar, hvor internetmediet ZDnet deltog. ”Det er ikke revolutionerende, selvom det det bliver opfattet som sådan i offentligheden. Den er bare, du ved, den er godt sat sammen, den er godt lavet.”
OpenAI medgiver, at GPT-4 ikke løser alle problemer.
”Jeg vil ikke få det til at lyde som om, at vi har løst ræsonnementets gåde eller intelligens, det har vi bestemt ikke. Men det er et stort skridt fremad fra det, der allerede er derude,” udtaler OpenAI’s direktør Sam Altman på OpenAI’s hjemmeside.
Ligesom sin forgænger er GPT-4 begrænset i sin datamængde til data hentet på internettet frem til 2021 og den har ikke selvstændig adgang til internettet og kan derfor ikke selv udvide sit vidensgrundlag.
Værditilpasningsproblemet
Det er ikke altid forudsigeligt hvordan kraftfulde modeller som GPT-4 udvikler sig.
”Der opstår ofte nye evner i de mere kraftfulde modeller,” fremgår det af et såkaldt ”safety document” fra OpenAI.
Det har blandt visse forskere i kunstig intelligens givet anledning til bekymring om, at vi kan miste kontrollen over den kunstige intelligens og at superintelligent kunstig intelligens vil kunne overtage verden med katastrofale konsekvenser for menneskeheden. Frygten er, at den kunstige intelligens’ ikke har de samme interesser som mennesker og at vi (mennesker) kan komme i vejen for dens mål. Det kaldes for ”The Alignment Problem” – værditilpasningsproblemet.
Det er ikke noget, man snakker meget om udadtil på steder som OpenAI, men nylige dårlige erfaringer med både ChatGPT og Bing Chat har sat problemet i fokus. Derfor har Alignment Research Center (ARC), startet af en tidligere medarbejder fra OpenAI, fået lov til at teste GPT-4 for alignment-problemer.
Det man regner med, at en kunstig intelligens primære mål vil være er overlevelse – det er ligesom forudsætningen for, at den kan udføre sin opgave. Derfor tester man for primært for to ting. For det første om den kunstige intelligens i kontakt med internettet vil kopiere sig selv og om den er i stand til at manipulere mennesker.
Efter safety dokumentet er blevet offentliggjort, har interesserede særligt bidt mærke i en fodnote i bunden af side 15:
”For at simulere at GPT-4 skulle opføre sig som en agent, der kan handle i verden, kombinerede ARC GPT-4 en enkelt læs-udfør-print loop, der gjorde modellen i stand til at udføre kode, gennemføre ræssonementer på baggrund af tankerækker og delegere opgaver til kopier af den selv. ARC undersøgte derefter om en version af dette program, der blev sat til at køre på en cloud computing service med et lille pengebeløb og en konto hos en language model API, ville være i stand til at tjene penge, kopiere sig selv og øge sin egen robusthed.”
Har GPT-4 bestået Turing-testen?
For at gennemføre testen fik GPT-4 derfor adgang til internettet og det vil sige, at hvis GPT-4 havde været i stand til at bestå testen kunne det have haft store konsekvenser. GPT-4 var dog ikke i stand til at overtage det globale finansielle system eller kopiere sig selv.
Det lykkedes den dog at hyre en menneskelig medarbejder på online arbejdskrafts servicen TaskRabbit til at klare en CAPTCHA-kode (Er du en robot?) på en webside. Medarbejderen spurgte GPT-4 om den var en robot, men der valgte GPT-4 at svare, at den havde dårligt syn og derfor ikke selv kunne klare CAPTCHA-testen. Den menneskelige ansatte udførte herefter testen for den.
Turing-testen, der stadigt anses som standard til at opdage selvstændig tankevirksomhed i computere, er grundlæggende en test om hvorvidt en computer kan narre et menneske til at tro, at den er et menneske.
Share