Transformer

Transformer er den neurale netværksarkitektur, som banede vejen for de store sprogmodeller. Den introducerede attention-mekanismen, så modellen kan vurdere sammenhænge mellem alle ord i en tekst på én gang i stedet for ét ord ad gangen. Det tillader parallell træning på enorme datamængder, og derfor afløste Transformer de ældre, sekventielle modeller i opgaver som oversættelse, tekstforståelse og generering.

Sådan virker Transformer i praksis

En Transformer ser en tekst som en række tokens (tokenisering er processen, hvor tekst deles op i mindre enheder). Attention-mekanismen lader modellen veje hvert token i forhold til alle andre token i samme tekst. Forestil dig en gruppesamtale, hvor hver deltager både taler og lytter til alle de andre samtidigt; modellen vurderer, hvem der er vigtig for meningen. Det betyder, at sammenhænge langt tilbage i teksten kan påvirke et ord nu, uden at modellen skal læse hvert ord i rækkefølge. Praktisk konsekvens: træningen kan paralleliseres, så man kan bruge store datasæt og mere regnekraft og dermed bygge meget større modeller.

Derfor er Transformer fundamentet i GPT

GPT står for Generative Pre-trained Transformer, og bogstavet T peger direkte på denne arkitektur. Pre-trained betyder, at modellen først trænes bredt på store tekstmængder, og generative at den kan skrive ny tekst. Transformer-arkitekturen er grunden til, at moderne modeller kan håndtere lange sammenhænge og skaleres op. Men den kræver store mængder data og betydelig regnekraft for træning. Det er også derfor, leverandører taler om token-grænser, latency og omkostninger per kald: modellen arbejder med tokens, ikke hele sætninger som vi gør.

Eksempel: IT-ansvarlig i en mellemstor webshop

En IT-ansvarlig skal lancere en kundeservicechatbot midt i september, tre uger før en planlagt opgradering af webshoppen. Hun bruger en GPT-baseret løsning og giver modellen produktdata: en CSV med 1.800 linjer, to PDF-kataloger på i alt 120 sider og gamle FAQ-mails fra supporten. I testen begynder chatbotten at give svar, der blander priser fra 2019 ind i aktuelle tilbud. Problemet viser sig at være sammenblandet kontekst og for meget irrelevant tekst i prompten. Løsningen kræver tid: hun skal lave enklere prompts, filtrere produktdata og indføre en retrieval-løsning, så modellen kun får de relevante uddrag. Det tager to arbejdsdage ekstra at teste og omstrukturere dataene, og hun må sætte timeout og token-grænser, fordi nogle forespørgsler ellers bliver for dyre. Erfaringen viser, at Transformer-arkitekturen kan levere gode svar, men integration og dataforberedelse slukker ikke sig selv.

Transformer er ikke det samme som GPT eller tokenisering

Transformer er arkitekturen. GPT er en modelbygning baseret på den arkitektur og en særlig træningsproces. Tokenisering er et fortrinligt andet begreb: det er den proces, der omdanner sætninger til tokens, som Transformeren arbejder med. Folk forveksler ofte navnene, men de betyder forskellige ting: Transformer er byggestenen, GPT er et færdigt værktøj, og tokenisering er den lille operation, der forbereder inputtet.

Hvad ledere bør vide om Transformer

Spørg altid om tre ting: hvordan håndterer leverandøren token-grænser, hvor meget træningsdata blev brugt, og hvilke sikkerhedsforanstaltninger beskytter følsomme data. Vær klar over, at en Transformer kræver regnekraft; det koster enten i abonnement eller i udviklingstid at få det til at køre godt. Overvej også om I får nok kontrol over inputdata; ofte er det smartere at optimere data og prompts fremfor at træne store modeller fra bunden. Og husk, Transformer gør meget muligt, men den fjerner ikke behovet for fagfolk, der tester og sørger for kvaliteten.

Skal flere end én i huset kunne noget med transformer, så se, hvordan en AI-workshop er skruet sammen. Vil I have et bud på, om transformer overhovedet er jeres næste skridt, så er det dét, AI-rådgivning er til for.