Lokal sprogmodel

En lokal sprogmodel er en sprogmodel, som I selv hoster på virksomhedens computere eller servere, så input og output ikke sendes til en ekstern cloud. Mange lokale modeller er "open weights", kan køre offline takket være kvantisering og styres via værktøjer som Ollama eller LM Studio. Fordelen er kontrol over data og faste omkostninger; ulempen er krav til hardware og løbende drift.

Sådan virker en lokal sprogmodel i praksis

En lokal sprogmodel svarer på tekstforespørgsler på samme måde som en cloud-model, men modellen og de data, den arbejder på, ligger fysisk bag jeres firewall. Kvantisering betyder, at store modeller gøres mindre og billigere at køre, så en model, der ellers kræver en massiv GPU, kan køre på en mindre server. Værktøjer som Ollama og LM Studio gør det enklere at styre modeller, versionere dem og give kolleger adgang uden at skrive kode. Analogien: modellen er som en kopimaskine i mødelokalet; den står der, I bestemmer, hvem der må bruge den.

Kan vi køre AI selv uden at sende data til USA?

Det korte svar er: ofte ja, men ikke altid. Hvis lovgivning eller interne regler kræver, at data aldrig må sendes uden for EU, kan en lokal sprogmodel sikre, at tekst og dokumenter forbliver i huset. Det kræver dog, at I også kontrollerer backup, logning og tredjepartsbiblioteker, så intet utilsigtet repliceres i skyen. Tjek altid reglerne op mod jeres konkrete brugstilfælde og eventuelle databehandleraftaler, for eksempel hos Datatilsynet.

Fordele og ulemper ved at køre lokalt

• Fordele: bedre databeskyttelse, ingen løbende forbrugspris pr. API-kald, mulighed for offlinebrug og skræddersyning uden at dele data eksternt. Det giver ro i bestyrelsen, når fortrolige tekster aldrig forlader bygningen.
• Ulemper: lokal drift kræver hardware, typisk en kraftigere server eller GPU, løbende opdateringer og sikkerhedspatching. Ydeevnen kan være svagere end de nyeste frontier-modeller i skyen, og nogle open weights-modeller har mindre sprogforståelse eller færre funktioner. Desuden kan integration til eksisterende systemer kræve udviklingstid.

Eksempel: IT-ansvarlig får en lokal model op at køre

IT-ansvarlig i en rådgivervirksomhed beslutter midt i en travl månedsafslutning at teste en lokal sprogmodel for at undgå at sende kundeoplysninger til eksterne tjenester. I løbet af to uger opsætter hun en server i serverrummet, installerer en open weights-model via LM Studio og bruger kvantisering for at få modellen til at køre på en GPU med begrænset hukommelse. Modellen kan svare på standardforespørgsler, men fejler på komplekse faglige sammenhænge, så kolleger får delvist forkerte oversigter i to arbejdstimer, indtil prompts og fallback-regler justeres. Arbejdet kostede cirka en uge i IT-tid plus nogle supportsessioner med en ekstern konsulent; gevinsten var, at følsomme dokumenter aldrig blev sendt til en tredje part, men projektet skabte også ekstra driftopgaver og krav om backup.

Hvad I bør overveje før I vælger lokal hosting

Spørg først: hvilke data skal behandles, og er der juridiske begrænsninger? Overvej totalomkostningen: hardware, strøm, sikkerhed og vedligeholdelse. Vurder om jeres opgaver kræver den allernyeste sprogforståelse, eller om en lokal, kvantiseret model er tilstrækkelig. Til sidst: planlæg for opdateringer og ansvar, så en lokal model ikke bliver et mysterium, der kun én person forstår. Lokal hosting er effektivt, men det er ikke en trylleformular; det kræver ressourcer og governance.

Det er svært at læse sig til lokal sprogmodel. I kommer længere med en workshop, hvor I bygger på jeres egne opgaver.