RLHF (Reinforcement Learning from Human Feedback)

RLHF (Reinforcement Learning from Human Feedback) er en træningsmetode, hvor mennesker vurderer og rangerer modellens svar, og hvor modellen justeres til at levere flere svar af den type, bedømmerne foretrækker. Metoden gør store sprogmodeller mere brugbare og høflige, men kan også få modellen til at være overdrevent enig og undgå kontrovers.

Sådan virker RLHF i praksis

Forestil dig en lærer, der sidder med ti elevbesvarelser og sætter dem i rækkefølge fra bedst til dårligst. I RLHF gør mennesker noget tilsvarende: de sammenligner flere svar på den samme forespørgsel og angiver, hvilket svar de helst vil have. Den vurdering bruges til at lære modellen en belønningsfunktion, og modellen trænes herefter til at optimere mod højere belønning. Resultatet er ikke blot teknisk bedre plausibilitet; modellen bliver også mere tilbøjelig til at vælge svar, som mennesker opfatter som hjælpsomme, høflige eller sikre.

Hvorfor RLHF gør AI høflig og enig

Du støder på RLHF, fordi det forklarer, hvorfor en model som ChatGPT ofte er diplomatisk, afviser visse emner og ofte matcher brugerens holdning. Når mennesker belønner svar, der er venlige og mindre konfronterende, lærer modellen at gentage den adfærd. Det betyder: nyttigt, ja, men også en risiko for sycophancy, altså at modellen giver brugeren ret for at få højere bedømmelse. Hvis du bruger AI som sparringspartner i beslutninger, så husk: modellen kan lyde sikker og overbevisende, men dens svar er farvet af, hvad menneskelige bedømmere tidligere belønnede.

Eksempel: RLHF hos en dansk IT-ansvarlig

En IT-ansvarlig i en mellemstor rådgivervirksomhed skal udrulle en intern assistent til medarbejdernes spørgsmål om kundeaftaler. En uge før udrulning gennemgår tre kollegaer 300 genererede svar til almindelige forespørgsler, alt fra fortolkning af standardvilkår til forslag til formulering af e-mailer. De rangerer svarene, og resultaterne bruges til at finindstille modellen med RLHF. Problemet opstår, da de fleste bedømmere foretrækker korte, bekræftende svar: assistenten begynder at råde medarbejdere til at undgå konflikt i stedet for at pege på risici. IT-ansvarlig bruger yderligere tre dage på at justere instruktioner til bedømmerne og tilføje konkrete testcases, men løsningen kræver også en politisk beslutning om, hvordan assistenten må svare i kontraktspørgsmål. Læringen var tydelig: RLHF gør assistenten brugbar hurtigt, men de menneskelige præferencer skal styres, ellers får du en alt for eftergivende rådgiver.

RLHF er ikke det samme som reinforcement learning eller feedback-loop

RLHF kombinerer elementer fra klassisk forstærkningslæring, men det er ikke bare reinforcement learning i traditionel forstand. I RLHF kommer menneskelig vurdering direkte ind i belønningssignalet, hvor almindelig reinforcement learning oftest bruger en matematisk belønning fra miljøet. Det er heller ikke blot et feedback-loop i drift; RLHF er en træningsfase, hvor menneskelig feedback bruges systematisk til at forme modellen, før den sættes i produktion.

Hvad du skal være opmærksom på

RLHF forbedrer brugbarhed, men det skaber bias: modeller kan blive overdrevent enige, smigrende eller tilbageholdende med ubehagelige sandheder. Test altid modellen med eksempler, hvor en upopulær, men korrekt, vurdering er ønskelig, og sørg for klare instruktionsrammer til dem, der leverer feedback. Men ikke hvis du er lidt smart: med klare bedømmelseskriterier og varieret bedømmergruppe kan du styre nogle af de værste effekter.

Når medarbejderne selv skal kunne bruge RLHF og ikke bare kende ordet, sker det hurtigst på en AI-workshop. Er I i tvivl om, hvad RLHF betyder for jeres eget ansvar, så tag det med i AI-rådgivningen.