GPU (Graphics Processing Unit)
Chippen der gør moderne AI hurtig, men som også er dyr og svær at få fat i.
Indhold
GPU er en chip designet til at udføre tusindvis af beregninger samtidig. Oprindeligt lavede man dem til at tegne grafik på skærmen, men den samme evne til parallel beregning gør dem bedre end almindelige CPU'er til både træning af store modeller og til inferens, når modellen svarer på en prompt.
Sådan virker GPU i praksis
En GPU tager en stor opgave og deler den op i mange små, ensartede opgaver, som den kan køre sideløbende. I en almindelig arbejdsdag svarer det til, at du har 500 ansatte, der alle laver den samme rutineopgave samtidigt i stedet for én specialist, der gør det alene. For AI betyder det, at matrixregnestykker og tal i store tabeller bliver langt hurtigere. Derfor bruges GPU'er ved træning, hvor millioner af parametre opdateres, og ved inferens, når modellen skal give svar hurtigt til brugere.
Når IT siger 'vi mangler GPU': hvad ledere skal vide
Når IT-afdelingen spørger efter GPU'er, handler det ikke kun om en hurtigere pc. Det handler om kapacitet, køling, strøm og leveringstid. Enterprise-GPU'er er ofte dyre og efterspurgte; leverandører kan have lange ventelister. I praksis er beslutningen typisk: køb egne GPU'er og invester i drift, eller brug cloud, hvor du lejer GPU-kapacitet efter behov. Tal med IT om, hvorvidt behovet er til løbende inferens på egne systemer, eller til sporadisk træning, der kan køres i skyen. Husk også, at modeller og datacentre ofte måles på antallet af GPU'er, ikke kun CPU-kerner, så volumen har direkte betydning for hvor hurtigt et projekt kan skaleres.
Eksempel: GPU hos en mellemstor webshop
IT-chefen i en mellemstor webshop har netop fået opgaven med at rulle en ny anbefalingsmotor ud ugen før Black Friday. De skal bruge GPU-kraft for både at træne modellen på kundedata og for at levere anbefalinger i realtid på siden. Første forsøg med en enkelt nyere grafikkort i en kontor-pc viste sig utilstrækkeligt: træningen tog flere dage, serveren blev varm, og en vigtig test gik i stå midt i natten. Løsningen blev at leje to GPU-noder i skyen for at færdiggøre træningen på 48 timer og parallelisere inferensen via en cloud-tjeneste på kampagnedagen. Ulempen var ekstra regninger og en hektisk weekend, hvor opsætning og integration tog cirka 24 timer fra kollegerne, der skulle flytte data og sikre, at præferencer kom rigtigt med fra regnearket. Læringen var klar: planlæg GPU-behov i god tid, og hav en sky-backup klar, når kampagner betyder, at ventetid ikke er en mulighed.
GPU er ikke det samme som CPU, TPU eller NPU
En CPU er en generalist. Den klarer mange forskellige opgaver enkeltvis, men ikke stort i parallel. En GPU er specialiseret i parallelle beregninger og excellerer i matrix- og vektor-arbejde, som AI kræver. En TPU er en Google-designet AI-chip, optimeret til træning og inferens i Googles miljø, og en NPU er en neural processing unit, som ofte findes i nye AI-pc'er og mobiltelefoner til lokal inferens. I praksis betyder det: du kan træne store modeller hurtigst på mange GPU'er eller TPU'er i et datacenter, mens NPUs kan give hurtige svar på en laptop eller telefon uden at sende alt til skyen. Brug ordene grafikkort, AI-chip og AI-processor som synonymer i daglig tale, men vær opmærksom på forskellene, når I sammenligner priser og leverandører.
Hvad du skal være opmærksom på
Når I køber eller lejer GPU-kapacitet, overvej totalomkostningen: indkøb, strømforbrug, køling, fysisk plads og drift. Underbudgettering skaber flaskehalse i projekter med træning, og det er ofte antallet af GPU'er, der bestemmer hvor hurtigt et projekt skalerer. Hvis I tænker AI-pc'er med indbyggede NPU'er, så husk, at de er gode til lokal inferens, men sjældent til at træne større modeller. Tjek også leverandørens support for de værktøjer I vil bruge, og planlæg en sky-strategi som backup, så I ikke sidder fast, når hardware er udsolgt. En sidste note: en GPU kan føles som en magisk accelerator ... men den løser ikke dårlig data eller et uklart mål, og den kan være dýr i drift.
Relaterede begreber
Sæt GPU i sammenhæng med Træning og Inferens. Træning kræver ofte mange GPU'er i længere tid. Inferens kan køre på GPU, men også på NPUs i endenheder eller på specialiserede chips i skyen. Når I diskuterer leverandører, spørg altid hvor mange GPU-timer eller hvilken type chip der indgår i tilbuddet.
Det er svært at læse sig til GPU. I kommer længere med en workshop, hvor I bygger på jeres egne opgaver.
Ofte stillede spørgsmål om GPU
Er en GPU det samme som en CPU?
Nej. En CPU er en generalist, der håndterer mange forskellige opgaver sekventielt. En GPU er specialiseret til at udføre mange ens beregninger samtidigt, hvilket gør den meget hurtigere til AI-opgaver som matrixberegninger.
Hvorfor er GPU'er så dyre og svære at få?
Efterspørgslen er høj fra både datacentre og producenter af AI-løsninger, samtidig med at avanceret hardware kræver specialfremstillede chips og god køling. Det fører til lange leveringsfrister og høj pris på enterprise-GPU'er.
Kan vi bruge AI uden GPU?
Ja, men mulighederne er begrænsede. Lilleskala inferens kan køre på CPU eller NPU i en AI-pc, og træning kan lejes i skyen. For store modeller og hurtig træning er GPU eller TPU dog normalt nødvendigt.
Hvad er forskellen på GPU, TPU og NPU?
GPU er en bredt anvendt parallel chip til grafik og AI. TPU er Googles specialbyggede AI-chip, ofte brugt til træning i deres datacentre. NPU er en chip til neural netværk, typisk i endenheder som AI-pc'er eller telefoner for lokal inferens.
AI-rådgiver og underviser, grundlægger af AI Hero i Herning. Har bygget digitalt i over 20 år og hjælper danske virksomheder med at få AI i drift. Læs mere om Brian.