Ollama

Ollama er et gratis open source-program, der gør det nemt at hente og køre åbne sprogmodeller (fx Llama, Mistral, Qwen, DeepSeek og gpt-oss) direkte på en pc eller server uden internetforbindelse. Programmet pakker processen omkring at installere modeller, starte en lokal tjeneste og sende tekst til modellen, så I kan behandle fortrolige dokumenter uden at sende dem op i skyen.

Sådan virker Ollama i praksis

Ollama er i praksis en organiseret måde at køre en sprogmodel på en maskine. Forestil dig en lille, lokal server i jeres it-rum: programmet henter en modelfil, starter den og tilbyder et enkelt interface, hvor I sender input og får svar tilbage. I behøver ikke at forstå modelens interne matematik, men I skal have en maskine med nok GPU-hukommelse og RAM. Jo større modellen er, jo mere plads og regnekraft kræves; ellers går det langsomt eller virker ikke.

Når I vil køre Ollama lokalt og holde dataen i huset

Hvis beslutningen handler om, at fortrolige tilbud, kunde-mails eller scannede PDF'er aldrig må forlade virksomheden, så er Ollama et reelt svar. I behøver ikke sende dokumenter til eksterne API'er. Det betyder, at databehandling kan foregå bag jeres firewall, men det stiller krav: I skal sørge for backup, opdateringer og adgangsstyring selv. Det er praktisk, men ikke en autotekstur til nul ansvar; I er stadig ansvarlige for at beskytte data og følge interne politikker.

Eksempel: Ollama hos en IT-chef i en mindre produktionsvirksomhed

IT-chefen i en produktionsvirksomhed ville gerne automatisere svar på tekniske spørgsmål fra montageholdet. En torsdag morgen, midt i planlægningen af en opgradering, satte chefen en af virksomhedens servere op med Ollama og henter en 30 GB-model. Den første dag kørte modellen langsomt, og to nætter gik med at optimere GPU-driverne og flytte 64 GB RAM fra en anden maskine. Montageholdets dokumenter var i flere mapper med gamle PDF-tegninger og en prisliste fra 2019; modellen begyndte at give brugbare svar, men den misforstod nogle fagudtryk. Der blev brugt tid på at rydde op i dokumenterne, og der kom en ekstra opgave: sikre, at kun tre personer havde adgang til modellen. Resultatet var ikke fejlfrit, men modellen kunne køre offline og blev et værktøj, der kunne testes videre uden at sende data ud af huset.

Ollama er ikke det samme som LM Studio eller en skyservice

LM Studio er et tilsvarende program, men med en grafisk brugerflade, der gør installation og brug nemmere for ikke-teknikere. Ollama i sig selv er mere kommandolinjeorienteret, men begge kan køre lokale modeller. Det er ikke det samme som at bruge en cloud-LLM fra en stor leverandør: skyservices leverer ofte opdateringer, drift og skalerbarhed, mens lokal drift giver kontrol, men kræver drift og hardware.

Sådan kommer du i gang med Ollama

1. Vurder hardware: tjek om jeres server eller workstation har en passende GPU og mindst 32 til 64 GB RAM for mellemstore modeller.
2. Vælg model: hent en model med passende størrelse; begynd med en mindre model for at teste workflowet.
3. Installer Ollama og start en lokal tjeneste, følg dokumentationen til netværks- og adgangsindstillinger.
4. Test med ikke-fortrolige dokumenter, før I sender produktionsdata ind.
5. Lav driftsrutiner: opdater modeller, sikkerhedskopier og begræns brugeradgang.

Ollama gør det muligt at køre åbne modeller uden internet, men kvaliteten afhænger af jeres maskine og valg af model. Det er ikke en magisk hurtig løsning, og I skal planlægge drift, sikkerhed og rettighedsstyring. For enklere opsætning med GUI, overvej LM Studio, og husk at modeller som Llama eller DeepSeek stadig har egne licenser og krav.

Det er svært at læse sig til ollama. I kommer længere med en workshop, hvor I bygger på jeres egne opgaver.