Illustration af en Lokal LLM der kører privat på en computer.

Lokal LLM

Hvad er Lokal LLM?

En Lokal LLM (Large Language Model) er en kunstig intelligens, som du downloader og afvikler direkte på din egen hardware, f.eks. din computer eller virksomhedens server. I modsætning til skybaserede modeller som ChatGPT, sendes dine data ikke over internettet, hvilket giver fuld kontrol over privatliv og datasikkerhed.

Tænk på det som forskellen mellem at streame en film på Netflix (Skyen) og at se en film, du har liggende på din harddisk (Lokal). Når du kører AI lokalt, er du ikke afhængig af en internetforbindelse eller tredjepartsudbyderes oppetid.

Hvorfor er Lokal LLM vigtigt for Prompt Engineering?

For en Prompt Engineer åbner lokale modeller op for en helt ny legeplads med unikke fordele, især når det kommer til følsomme data og workflow-integration:

  • Datasikkerhed (GDPR): Du kan prompte med fortrolige kundedata, forretningshemmeligheder eller persondata uden risiko for, at dataene siver eller bliver brugt til at træne fremtidige modeller.
  • Ingen censur eller filtre: Mange kommercielle modeller har stramme "guardrails". Lokale modeller kan (hvis man ønsker det) køre uden disse begrænsninger, hvilket er essentielt for visse typer kreativt arbejde eller forskning.
  • Ingen API-omkostninger: Du betaler med strøm og hardware, ikke per token. For virksomheder med massivt AI-forbrug kan dette i længden være billigere end dyre API-kald til OpenAI eller Anthropic.
  • Offline funktionalitet: Dit arbejde stopper ikke, hvis internettet går ned.

Lokal LLM i praksis

For at køre en LLM lokalt kræver det typisk en computer med en kraftig grafikprocessor (GPU), f.eks. fra NVIDIA, da disse er bedst til de komplekse beregninger, AI kræver. Værktøjer som Ollama, LM Studio eller GPT4All gør det nemt at downloade og køre modeller som Llama 3 eller Mistral med få klik.

Her er et eksempel på, hvordan du interagerer med en lokal model via kommandolinjen (hvis du bruger Ollama): 


# Start en lokal Llama 3 model
ollama run llama3

# Prompt modellen direkte
>>> Analysér følgende fortrolige årsregnskab og find de tre største risikofaktorer:
[Indsæt følsom tekst her...]

Eksperttip til Lokal LLM

Selvom det lyder fantastisk at køre alt lokalt, skal du være realistisk omkring hardwarekravene. De mest kapable modeller (dem med mange milliarder parametre) kræver ekstremt dyre grafikkort. Start med mindre, kvantiserede (komprimerede) modeller som 7B eller 8B parametre. De kører fint på en moderne bærbar med et godt grafikkort og leverer overraskende gode resultater til de fleste hverdagsopgaver.