MoE (Mixture of Experts)
En modelopbygning hvor kun de relevante 'eksperter' bruges per token, og det sænker pris pr. svar.
Indhold
MoE (Mixture of Experts) er en sprogmodelarkitektur, hvor én stor model består af mange specialiserede delnetværk kaldet "eksperter". For hvert token vælger modellen kun et par eksperter, så en model kan have hundredvis af milliarder parametre i alt, men kun bruge et mindre udsnit af dem under inference. Resultatet er høj kapacitet uden at betale fuld pris per kald.
Sådan virker MoE i praksis
Forestil dig en stor virksomhed med 100 specialafdelinger, men kun tre teams bliver inviteret til hvert møde. Teknikken vælger hvilke eksperter der er mest relevante for netop det ord eller den sætning, modellen skal arbejde med. Hvert token routles til få eksperter, de behandler det, og et svar bygges op af deres kombinerede bidrag. Det betyder, at beregningen pr. token er langt lavere end hvis alle parametre skulle bruges hver gang.
Hvorfor MoE forklarer lave priser hos DeepSeek
MoE er en vigtig grund til, at nogle nye modeller på markedet, fx DeepSeek og flere kinesiske tilbud, kan promoveres som "store" uden tilsvarende høje driftsomkostninger. Når en leverandør siger 600+ milliarder parametre, betyder det ikke nødvendigvis, at hver forespørgsel bruger alle de parametre. Prisen pr. token påvirkes af, hvor mange eksperter der aktiveres per token. Derfor er "antal parametre" ikke længere et enkelt mål for ydelse eller pris.
Eksempel: IT-ansvarlig i en dansk webshop
En IT-ansvarlig skal vælge en ny generativ API dagen før en kampagne. Hun tester en MoE-model mod en almindelig dense model på 1000 kundehenvendelser i en testkø. MoE-modellen bruger kun tre eksperter per token, men der er ekstra kompleksitet i at routinge og cache svar. Den første uge opstod uventet variation i svarkvalitet for produktbeskrivelser fra 2019, fordi nogle eksperter var bedre til nyere sprogbrug. Det kostede to ekstra dage med justering af prompts og fallback-logik, men til gengæld holdt driftsregningen sig lavere under peak-testen.
MoE er ikke det samme som flere parametre alene
MoE handler om hvordan parametrene organiseres og bruges, ikke kun om at have mange parametre. Relaterede begreber er parametre, som er de enkelte vægte i modellen, og token, som er de tekststykker modellen arbejder på. En stor parameter-count kan indikere kapacitet, men uden MoE kan prisen pr. svar være markant højere. MoE kræver desuden smart routing og styring af eksperter, og det kan skabe ujævn udnyttelse og behov for mere driftsovervågning.
Vil I arbejde videre med MoE på jeres egne opgaver, er det dét, en AI-workshop går ud på. Skal I beslutte, hvor meget MoE må fylde hos jer, er det den slags valg, AI-rådgivning handler om.
Ofte stillede spørgsmål om MoE
Er MoE det samme som en større model med flere parametre?
Nej. MoE beskriver en måde at organisere parametre i specialiserede 'eksperter', hvor kun få aktiveres pr. token. Antal parametre kan være stort, men de bruges ikke alle samtidig.
Gør MoE modeller billigere at køre?
Ofte ja, fordi færre eksperter aktiveres per token, så beregningen pr. svar er mindre. Men arkitekturen kræver routing-logik og overvågning, hvilket kan medføre ekstra kompleksitet i driften.
Kan jeg bruge en MoE-model uden udviklere?
Du kan anvende MoE-baserede API'er som slutbruger, men for at vurdere stabilitet, fallback og omkostninger anbefales teknisk sparring. Især hvis I har krav til konsistens i svar og latency.
Hvad er forskellen på MoE og DeepSeek?
MoE er en arkitektur (Mixture of Experts). DeepSeek er et eksempel på en leverandør eller model, som kan bruge MoE for at tilbyde høj parameterkapacitet til lavere driftspris.
AI-rådgiver og underviser, grundlægger af AI Hero i Herning. Har bygget digitalt i over 20 år og hjælper danske virksomheder med at få AI i drift. Læs mere om Brian.