Illustration der viser Computer Vision teknologi i praksis

Computer Vision

Hvad er Computer Vision?

Computer Vision (computerstyret syn) er et felt inden for kunstig intelligens, der gør det muligt for computere og systemer at uddrage meningsfuld information fra digitale billeder, videoer og andet visuelt input. Forenklet sagt handler det om at lære maskiner at "se" og forstå den visuelle verden, ligesom mennesker gør.

Forestil dig, at du viser et billede af en kat til en computer. Uden Computer Vision ser computeren kun en række tal (pixelværdier). Med Computer Vision kan den genkende mønstre, former og farver, der tilsammen udgør en kat. Den kan skelne katten fra baggrunden, bestemme dens race, og måske endda vurdere dens humør. Det er denne evne til at fortolke visuel data, der er kernen i teknologien.

Hvorfor er Computer Vision vigtigt for Prompt Engineering?

Computer Vision er måske ikke det første, du tænker på i forbindelse med *tekst*-baserede prompts, men teknologien spiller en stadig større rolle, især med fremkomsten af multimodale AI-modeller som GPT-4V og Gemini. Her er hvorfor det er essentielt for en moderne Prompt Engineer at forstå:

  • Forståelse af Visuelt Input: Multimodale modeller kan nu analysere billeder, du uploader. For at skrive effektive prompts, der beder AI'en om at analysere, beskrive eller redigere et billede, skal du forstå, *hvordan* AI'en ser billedet. Computer Vision-principper hjælper dig med at formulere præcise instruktioner om komposition, objekter, stil og farver.
  • Forbedret Billedgenerering: Når du bruger værktøjer som Midjourney eller DALL-E, bruger du Computer Vision "baglæns". Du beskriver en scene med tekst, og AI'en bruger sin Computer Vision-træning til at sammensætte de visuelle elementer, der matcher din beskrivelse. Jo bedre du forstår visuel taksonomi (hvordan objekter og scener kategoriseres), jo bedre prompts kan du skrive.
  • Automatisering og Analyse: Inden for avanceret prompt engineering kan Computer Vision bruges til automatisk at analysere outputtet fra billedgenererings-prompts for at vurdere kvalitet, overholdelse af brand-guidelines eller for at identificere fejl (artifacts), hvilket gør det muligt at automatisere test og optimering af prompts.

Computer Vision i praksis

Lad os se på et eksempel, hvor vi bruger en multimodal AI til at analysere et billede. Her er et eksempel på, hvordan en Prompt Engineer kan bruge Computer Vision-koncepter til at få et præcist svar: 


### Prompt til en Multimodal AI (f.eks. GPT-4V):

[Upload billede af et travlt vejkryds]

"Analyser dette billede ved hjælp af Computer Vision-principper. Udfør følgende opgaver:
1. **Objektregistrering:** Identificer og tæl alle biler, fodgængere og trafiklys.
2. **Semantisk Segmentering:** Beskriv de primære områder i billedet (f.eks. vejbane, fortov, bygninger).
3. **Kontekstuel Forståelse:** Hvilken tid på dagen er det sandsynligvis, og hvordan er vejret?
Giv dit svar i et struktureret format."

I dette eksempel beder vi specifikt AI'en om at udføre opgaver som "objektregistrering" og "semantisk segmentering", hvilket er standard Computer Vision-discipliner. Dette giver et langt mere detaljeret og brugbart svar end blot at spørge "Hvad er der på billedet?".

Eksperttip til Computer Vision i Prompts

Når du arbejder med AI og billeder, så tænk som en fotograf eller en filminstruktør. Vær eksplicit omkring visuelle detaljer. I stedet for at skrive "en smuk solnedgang", så beskriv de elementer, Computer Vision-modellen skal lede efter eller generere: "En solnedgang over en rolig havoverflade, med orange og lilla nuancer i skyerne, en silhuet af en palme i forgrunden til højre, og refleksioner af lyset i vandet. Stil: realistisk fotografi med lav dybdeskarphed." Jo mere du kan bryde det visuelle ned i konkrete, beskrivende komponenter, jo bedre bliver dit resultat.