Diffusionsmodel

Diffusionsmodel er en type generativ AI, der lærer at fjerne tilfældig støj fra et billede i små trin, så den omvendte proces kan sættes i gang: begynd med ren støj og lad modellen gå skridtvis mod et billede styret af en tekstbeskrivelse eller en skitse. Det er principlet bag mange billed- og videogeneratorer, blandt andre Stable Diffusion, Midjourney og Veo.

Sådan virker en diffusionsmodel i praksis

En diffusionsmodel trænes ved at tage rene billeder og tilsætte støj igen og igen. Modellen lærer hvert trin i rensnings-processen, altså hvordan et lidt støjende billede bliver lidt mindre støjende. Når den skal generere et nyt billede, starter den med tilfældig støj og følger de omvendte trin, så støjen gradvist bliver til et billede. En tekstprompt fortæller modellen, hvilken retning billedet skal tage, men modellen bruger også tilfældighed, så hver kørsel kan give et andet resultat.

En hverdagsanalog: som at tørre et tåget vindue af i mange små bevægelser. Hver gang du tørrer lidt, dukker der nye detaljer frem, og et lille tilfældigt træk kan ændre et helt vindue. Det forklarer, hvorfor samme prompt ofte giver forskellige billeder.

Hvorfor diffusionsmodeller forklarer de billeder, I får

Som marketingmedarbejder møder du navne som Stable Diffusion og Midjourney i værktøjer og artikler. Det, der bestemmer udseendet, er ikke kun prompten men også modellen, tilfældigheden i processen, og hvilke referencer modellen har lært fra. Derfor: den samme tekst kan give forskellige billeder hvis du skifter modelversion, billedformat, eller blot kører generationen igen.

Det betyder også, at små ændringer i prompten har stor effekt. At nævne "blød belysning" eller "høj kontrast" kan flytte fokus i billedet. Og nogle modeller håndterer tekst og logoer dårligt, så billedtekst på etiketter kan blive utydelig eller fejlbehæftet. Når du vurderer et output, kig efter hvilken model der er brugt, og gem de prompts og indstillinger, der gav det bedste resultat.

Eksempel: en grafiker hos en dansk webshop

En grafiker hos en mellemstor webshop sidder tirsdag morgen to dage før en stor produktkampagne. Hun skal lave 12 produktbilleder i et nyt visuelt look. Hun bruger Stable Diffusion via et webværktøj, sender tre forskellige prompts og får seks varianter pr. prompt. Efter en time er der fine kompositioner, men tekst på emballagen er uklart og farverne er inkonsistente i forhold til brandguiden. Grafikerens løsning bliver at køre tre ekstra iterationer, rette en prompt ved at nævne "brandfarve: blå #0044aa" og kombinere det bedste resultat i Photoshop med en manuel farvekorrektion. Samlet tid brugt: cirka tre timer, heraf halvanden time i tester og iterationer. Læringen er klar: diffusionsmodellen gav hurtige idéer, men krævede efterarbejde for at ramme konsistens og læsbarhed.

Diffusionsmodel er ikke det samme som GAN eller bare en prompt

En diffusionsmodel er en særlig træningsmetode. Den adskiller sig fra ældre tilgange som GANs ved sin trinvis rensning af støj; det giver ofte mere stabilitet i billeddetaljer. En prompt er ikke modellen; en prompt er den tekst, du skriver for at styre modellen. "Latent diffusion" og "latent space" er relaterede begreber, der beskriver, at modellen arbejder i et komprimeret repræsentationsrum, men det er teknisk baggrund, ikke noget du nødvendigvis skal ændre i daglig brug.

Sådan kommer du i gang med diffusionsmodeller

1. Prøv en model i et brugerinterface og test med korte prompts. Start simpelt: ét centralt begreb, to stilangivelser.
2. Gem dine prompts og de billeder, de gav. Sammenlign versioner for at lære, hvad små ord gør.
3. Overvej efterredigering: planlæg tid til beskæring, farvekorrektion og at rette tekst på billeder.
4. Noter hvilken model og version du brugte, og gentag generationen et par gange for at få variation, før du vælger et endeligt billede.

Diffusionsmodeller er kraftfulde til at skabe ideer og hurtige visuals, men de kræver øvelse og en plan for kvalitetssikring. Brug modellen til at generere muligheder, ikke til at levere endelige plakater direkte fra første kørsel.

Skal flere end én i huset kunne noget med diffusionsmodel, så se, hvordan en AI-workshop er skruet sammen. Det tunge ved diffusionsmodel er sjældent at komme i gang, men at holde det kørende. Det er jobbet for et AI-team i huset.