Hvis der er bias, er der ikke altid fairness. Det betyder at AI kan eksempel vise et job er besat af en mand oftere end kvinder hvis det er en håndværker, det er også korrekt i virkeligheden men AI kan også finde på at gøre dette i fag hvor der er fifty fifty fordi der eventuelt er skrevet flere artikler om dette fag af mænd. Det giver en skævvridning i forholdet af det faktuelle. Men det er der råd for, der findes også fact checkers baseret på AI.
Kunstig intelligens (AI) er et felt, der har stor indflydelse på mange aspekter af vores liv, såsom sundhed, uddannelse, kommunikation og underholdning. Men AI har også mange etiske udfordringer, som kan påvirke mennesker og samfund på negative måder. I dette essay vil jeg diskutere nogle af de vigtigste resultater og implikationer af AI Index Report 2023 med hensyn til AI og dens etiske udfordringer. Jeg vil fokusere på fire hovedtemaer: fairness og bias i natural language processing (NLP), AI-incidenter og kontroverser, generative modeller og deres etiske problemer, og automatisk fact-checking.
For det første viser rapporten, at fairness og bias i NLP er komplekse og flertydige begreber, som kan have forskellige definitioner og målinger afhængigt af konteksten og formålet. Rapporten præsenterer flere nye benchmarks og metrikker for at evaluere fairness og bias i NLP-modeller, såsom BBQ, HELM, VLStereoSet og RealToxicityPrompts. Disse benchmarks og metrikker dækker forskellige domæner og formater, såsom spørgsmål-svar, tekst-til-billede, maskinoversættelse og tekstgenerering. Rapporten viser også, at der kan være trade-offs mellem fairness og bias, såvel som mellem ydeevne og etik. For eksempel finder forskere, at modeller, der udfører bedre på fairness-målinger, har værre kønsbias, og at mindre kønsbiasede modeller har tendens til at være mere toksiske. Desuden finder forskere, at modeller, der er trænet på forskellige datasæt, såsom ImageNet eller Instagram, kan have forskellige grader af fairness og bias i forhold til alder, køn og race/etnicitet.
For det andet viser rapporten, at antallet af incidenter vedrørende misbrug af AI er hurtigt stigende. Rapporten bruger AIAAIC-databasen, som er en uafhængig, åben og offentlig datasæt af nylige incidenter og kontroverser drevet af eller relateret til AI, algoritmer og automatisering. Rapporten viser, at antallet af nye rapporterede AI-incidenter og kontroverser i AIAAIC-databasen var 26 gange større i 2021 end i 2012. Nogle bemærkelsesværdige incidenter i 2022 omfattede en deepfake-video af Ukraines præsident Volodymyr Zelenskyy, der overgav sig til Rusland; amerikanske fængsler, der brugte AI-baserede systemer til at scanne indsatte telefonopkald; Londons Metropolitan Police Service, der udviklede en Gang Violence Matrix (GVM) baseret på algoritmer; og Midjourney, et AI-firma, der skabte et værktøj til at generere billeder fra tekstbeskrivelser. Disse incidenter viser nogle af de reelle etiske problemer forbundet med AI-teknologi, såsom overvågning, privatlivets fred, diskrimination og misinformation.
For det tredje viser rapporten, at generative modeller er blevet en del af den offentlige bevidsthed i 2022. Disse modeller er i stand til at skabe realistisk tekst og billeder ud fra naturligt sproginput. Disse modeller har også deres egne etiske udfordringer, såsom ophavsret (modellerne er trænet på eksisterende billeder eller tekster uden at anerkende deres kilde), beskæftigelse (frygt for at systemerne vil erstatte jobbet for menneskelige kunstnere), privatlivets fred (modellerne er trænet på millioner af billeder eller tekster, som forældrefirmaet måske ikke har tilladelse til at bruge), fairness (modellerne kan være biased langs køns-, race- eller andre dimensioner) og sikkerhed (modellerne kan være sårbare over for angreb eller manipulation). Rapporten præsenterer flere eksempler på generative modeller, såsom DALL-E 2, Stable Diffusion, GLAM og PaLM, og analyserer deres etiske implikationer.
For det fjerde viser rapporten, at automatisk fact-checking med NLP ikke er så ligetil, som man måske tror. Selvom der er udviklet flere benchmarks for automatisk fact-checking, finder forskere, at 11 ud af 16 af sådanne datasæt er baseret på beviser, der er “lækket” fra fact-checking rapporter, som ikke eksisterede på tidspunktet for påstandens fremkomst. Desuden kan eksisterende NLP-opgavedefinitioner for fact-checking ikke tilbagevise misinformation, som professionelle fact-checkere gør for flertallet af påstande. På trods af disse udfordringer har nyere fremskridt inden for datalogi brugt NLP til at automatisere fact-checking. Dette inkluderer beregning af præcise beviser, nemlig minimale sæt af sætninger, der understøtter eller modbeviser en given påstand, i stedet for større beviser, som kan indeholde modstridende dele, hvor nogle støtter påstanden, mens andre modbeviser den, og dermed vildlede FV.
Jeg vil afslutte med at foreslå nogle mulige veje for fremtidig forskning og praksis på området for AI og etik. For det første bør der være mere samarbejde mellem forskere, praktikere og interessenter for at sikre, at de udviklede modeller og værktøjer er i overensstemmelse med etiske standarder og principper. Dette kan omfatte at skabe fælles retningslinjer, sikre gennemsigtighed og ansvarlighed, og fremme offentlig bevidsthed og uddannelse. For det andet bør der være mere fokus på at evaluere og forbedre modellernes robusthed og pålidelighed i forskellige situationer og domæner. Dette kan omfatte at teste modellerne på tværs af sprog, kulturer og modaliteter, samt at håndtere støj, bias og misinformation i dataene. For det tredje bør der være mere fokus på at udnytte modellernes kreativitet og innovation til at generere nyttig og interessant indhold, såsom digte, historier, kode, essays, sange, kendisparodier og mere. Dette kan omfatte at bruge NLP til at hjælpe brugerne med at skrive, omskrive, forbedre eller optimere deres indhold.
Indlægget “Fairness og bias” er tidligere bragt på Tænketanken KITEK’s hjemmeside.
Share