On-premise vs cloud

On-premise vs cloud handler om, hvor jeres AI og data fysisk kører: on-premise betyder, at servere og modeller står hos jer, cloud betyder, at en udbyder leverer regnekraft og ofte fortrænede modeller over nettet. Valget påvirker kontrol over data, om I kan bruge de største sprogmodeller, driftsomkostninger og hvilke kompetencer I skal have internt.

Sådan virker on-premise vs cloud i praksis

Tænk på on-premise som at eje en firmabil: I har fuld kontrol, I bestemmer, hvem der må køre, og hvor den parkeres. Cloud er som at leje en bil på abonnement: I slipper for værksted og forsikring, men I følger udlejerens vilkår. For AI betyder det konkret, at meget store modeller typisk kun er praktiske i cloud på grund af regnekraft og opdateringer. Mindre, åbne modeller eller lokal inference kan køres on-premise, men de kræver servere, køling og en IT-organisation, der kan sætte dem op og opdatere dem.

Når "data må ikke ud af huset" møder ledelsens beslutning

Når it, kunder eller regler kræver, at data forbliver lokalt, står du som leder med en trade-off: kontrol versus kvalitet og pris. On-premise giver kontrol, men koster ofte mere i investering, drift og tid til at få en model til at yde godt. Cloud kan levere bedre modeller og løbende forbedringer, men betyder at data rører en tredjepart. Ofte er mellemformen privat cloud eller en europæisk cloud et fornuftigt kompromis, fordi den kombinerer ekstern drift med geografiske og kontraktlige garantier. Tjek altid kravene hos Datatilsynet hvis persondata er involveret.

Eksempel: Økonomichefen, deadline og et krav om lokal hosting

En økonomichef i en mellemstor produktionsvirksomhed skal beslutte AI til dokumenthåndtering tre uger før budgetlægning. Kunder kræver, at tekniske tegninger og ordresedler aldrig forlader virksomhedens netværk. IT foreslår on-premise: to rackservere, 60 GB scannet dokumentarkiv, og en lokal sprogmodel installeret via en open source-løsning. Projektet møder modstand, da modellen kræver 2 uger opsætningstid, en del finjustering og en ekstra deltidsansat i drift. Et forsøg med en cloud-løsning på et testmiljø viste hurtigere resultater, men var ikke tilladt af kundekontrakten. Resultatet blev en kombination: en privat cloud-hosting i EU for ikke-kritiske opgaver og on-premise til følsomme filer. Projektet tog tre ekstra uger og krævede indkøb af ekstra backup og overvågning, men levede op til kundekravdet.

On-premise er ikke det samme som "lokal sprogmodel" eller Ollama

On-premise beskriver placeringen af systemet. En "Lokal sprogmodel" er en softwarekomponent, som kan køre on-premise, men ikke alle lokale løsninger er lige kraftfulde. Ollama er et eksempel på et værktøj, der kan hjælpe med at køre modeller lokalt, men det er kun én vej til at få lokal inference. Private clouds og europæiske cloud-udbydere kan give næsten samme kontrol som on-premise, men uden at I står for hardware og køl.

Sådan kommer du i gang med beslutningen

1. Kortlæg data: find ud af hvilke data, der absolut må blive internt, og hvad der kan sendes til cloud. 2. Vurder modeller: listes de modeller I vil bruge, og noter om de kræver cloud-regnekraft. 3. Beregn totalomkostningen: inklusive hardware, drift, sikkerhed, backup og kompetencer. 4. Overvej mellemformer: privat cloud eller europæisk udbyder kan give juridisk sikkerhed uden fuld on-premise. 5. Test i små trin: start med et pilotprojekt, så I ser hvor meget drift og finjustering kræver.

Vil I have et bud på, om on-premise vs cloud overhovedet er jeres næste skridt, så er det dét, AI-rådgivning er til for.