Stokastisk papegøje
Et kritisk begreb fra 2021-debatten om hvorvidt sprogmodeller kun gentager uden at forstå.
Indhold
Stokastisk papegøje er et kritisk begreb fra en forskningsartikel i 2021, der siger, at store sprogmodeller ofte blot gentager de mest sandsynlige ordkombinationer uden at have menneskelig forståelse af betydningen. "Stokastisk" betyder tilfældighedsstyret: modellen vælger ord ud fra statistiske mønstre i træningsdata, ikke ud fra en intern forståelse af verden.
Hvorfor ordet dukker op i debatten
Begrebet bruges i både kritiske og forsvarsorienterede argumenter, fordi det rammer det centrale spørgsmål: kan en model tænke, eller er den kun en avanceret tekst-generator? For en leder betyder det noget, når man tager beslutninger om automatiserede kundesvar, intern videnssøgning eller publiceret tekst. Hvis modellen blot gentager mønstre uden forståelse, kan den være upålidelig i sensitive sammenhænge. Hvis modellen derimod viser konsistent sammenhæng og faktakontrol, taler det imod papegøje-beskrivelsen.
Hvad kritikken faktisk peger på, og hvad forsvarerne siger
Kritikken hævder, at sprogmodeller ikke har intentioner, fælles viden eller sandhedsfiltre; de vælger næste ord ud fra sandsynligheder i store mængder tekst. Det forklarer hvorfor de kan gentage fordomme eller forkerte facts fra træningen. Forsvarerne svarer, at modellerne stadig kan løse komplekse opgaver, følge instruktioner og kombinere viden, så de ofte virker som om de forstår. Begge sider har ret i hver deres perspektiv: modellen er statistisk, men dens output kan være nyttigt og målrettet.
Eksempel: En IT-ansvarlig der ruller en intern chatbot ud
En IT-ansvarlig i en rådgivervirksomhed ruller en intern chatløsning ud to uger før en intern deadline med 120 sider kontraktmateriale og en prisliste fra 2018. Chatbotten svarer fint på standardspørgsmål, men en medarbejder finder tre svar, der bygger på en forkert antagelse fra en gammel PDF. Der er modstand: salgsfolk stoler på svarene, HR rynker på næsen, og IT må bruge to dages arbejde på at tilføje simple verifikationsregler og markere usikre svar som "tjek kilde". Resultatet er ikke perfekt, men tydeliggør forskellen mellem nyttig automation og blind tillid til en model, der kan ligne en papegøje.
Stokastisk papegøje er ikke det samme som parametre, temperatur eller multimodalitet
Begrebet beskriver en kritik af adfærd, ikke bestemt teknologi. "Parametre" er modelens interne vægte og fortæller noget om kapacitet. "Temperatur" er en indstilling, der styrer hvor tilfældigt output er; høj temperatur giver mere variation. En "multimodal model" arbejder med flere typer data, for eksempel tekst og billeder, men den kan stadig udvise patterns der minder om gentagelse. At noget er stokastisk betyder ikke automatisk, at det er ubrugeligt, men det er en advarsel om at tjekke kilder og forventninger.
En kort analogi: modellen kan ligne en papegøje, der gentager sætninger fra sin træning, men den kan også sætte sætninger sammen på nye måder. Brug den med omtanke, test den i jeres konkrete arbejdsgange, og kræv kildekontrol hvor det betyder noget. ...
Vil I arbejde videre med stokastisk papegøje på jeres egne opgaver, er det dét, en AI-workshop går ud på. Skal I beslutte, hvor meget stokastisk papegøje må fylde hos jer, er det den slags valg, AI-rådgivning handler om.
Ofte stillede spørgsmål om Stokastisk papegøje
Er en "stokastisk papegøje" det samme som at AI ikke forstår noget?
Nej. Udtrykket peger på at modeller vælger ord statistisk uden menneskelig forståelse, men output kan stadig vise sammenhæng og være nyttigt i praksis.
Kan man undgå "papegøje-problemer" ved at justere temperature?
Temperatur påvirker hvor tilfældigt en model svarer, men ændrer ikke grundlæggende om modellen forstår indholdet. Det kan mindske gentagelser, men tjek af fakta er stadig nødvendigt.
Hvordan relaterer "parametre" sig til kritik om stokastisk papegøje?
Parametre beskriver modelens størrelse og lærte mønstre. Flere parametre kan gøre modellen mere nuanceret, men de fjerner ikke det statistiske grundlag for, hvordan den vælger ord.
Gælder kritikken også for multimodale modeller?
Ja. Multimodale modeller arbejder med tekst, billeder eller lyd, men kan stadig generere svar baseret på sandsynligheder fra træningsdata, så samme bekymringer kan opstå.
AI-rådgiver og underviser, grundlægger af AI Hero i Herning. Har bygget digitalt i over 20 år og hjælper danske virksomheder med at få AI i drift. Læs mere om Brian.