Reinforcement learning

Reinforcement learning er en form for maskinlæring, hvor en agent lærer ved at udføre handlinger, få belønning eller straf og så tilpasse sin adfærd over tid. I praksis betyder det, at en model ikke bare gætter på svar ud fra data, men prøver noget, ser resultatet og lærer af konsekvensen, ligesom når man lærer et spil ved at spille det.

Hvordan reinforcement learning virker i praksis

I stedet for at fortælle en model, hvad der er rigtigt for hvert enkelt tilfælde, sætter man mål og belønninger. Agenten prøver handlinger i et miljø, det kan være et computerspil, en robotarm eller et tekstsvar, og får et tal, der siger, hvor godt det gik. Over mange gentagelser lærer agenten strategier, der giver højere belønning.

Tænk på det som at træne en medarbejder ved feedback: ros for det, der virker, kritik for det, der ikke gør. Det er enkelt i princippet, men ofte dyrt i praksis, fordi der skal mange forsøg eller menneskelig vurdering til, før adfærden bliver stabil.

Hvorfor du støder på reinforcement learning, når det handler om ChatGPT og robotter

Når medier eller leverandører forklarer, hvordan en chatbot er “opdraget”, er det ofte fordi RL-former er blevet brugt til at inkorporere menneskers præferencer. RLHF (Reinforcement Learning from Human Feedback) betyder, at mennesker sammenligner svar og belønner de svar, de foretrækker. Resultatet: en model, der opfører sig mere høfligt og relevant end en model, der kun er trænet på rå tekst.

Det samme princip forklarer også, hvorfor selvkørende biler og robotter kan lære komplekse færdigheder: de prøver handlinger i sikre omgivelser, vurderer dem og optimerer efter en målbar belønning, fx at undgå kollisioner eller fuldføre en opgave. Det repræsenterer altså en bevægelse fra at efterligne data til at opnå mål.

Hvad RLHF betyder for ChatGPT og lignende modeller

RLHF er en variant af reinforcement learning, hvor belønningen kommer fra mennesker. Mennesker vurderer ofte flere svar eller rangerer dem; disse vurderinger bliver til en belønningsmodel, som agenten optimeres imod. Derfor afspejler ChatGPT ofte menneskelige præferencer: høflighed, klarhed og undgåelse af skadeligt indhold.

Det betyder ikke, at modellen er objektiv eller fejlbarlig. RLHF kan indføre menneskelige bias, og resultater afhænger af, hvem der giver feedback, og hvordan belønningen er defineret.

Eksempel: Reinforcement learning for en direktør i en produktionsvirksomhed

Direktøren i en mellemstor produktionsvirksomhed vil automatisere en support-robot til at foreslå reservedele i en travl driftsuge, tre uger før en stor vedligeholdelsesstop. Udgangspunktet er en manuel liste over reservedele i et regneark og ti gamle tekniske PDF-tegninger. Virksomheden prøver først en simpel regelbaseret løsning, men den giver for mange forkerte forslag og frustrerer montørerne.

De hyrer en leverandør, der bygger en prototype med reinforcement learning: robotten foreslår handlinger, montørerne giver hurtig feedback (godt/dårligt) via en simpel app, og hvert svar bliver belønnet eller straffet. De første to uger koster det mange timer at indsamle feedback; der opstår også en periode, hvor robotten bliver for konservativ og nægter at foreslå løsninger uden fuldstændige matches. Til sidst bliver kvaliteten af forslagenes rækkefølge bedre, men direktøren bemærker, at projektet krævede ekstra tid til at designe belønningskriterier og til at håndtere uventede bias i feedbacken.

Reinforcement learning er ikke det samme som supervised learning eller blot 'mere data'

Forstærkningslæring adskiller sig fra supervised learning, hvor hver træningsnote indeholder et rigtigt svar. I reinforcement learning får agenten kun en belønning for et resultat, ikke nødvendigvis et facit. Det er heller ikke bare mere data: det kræver et miljø, en måde at simulere eller indsamle forsøg i, og en mekanisme til belønning, ofte mennesker via RLHF.

Det er heller ikke synonymt med 'selvlærende' i betydningen fuldstændig uafhængig. Mange praktiske systemer kombinerer supervised træning, simulering og RL for at være effektive.

Hvad du skal være opmærksom på

Reinforcement learning kan give løsninger på komplekse beslutninger, men det koster tid, regnekraft og ofte menneskelig vurdering. Resultatet kan bære præg af de mennesker, der giver belønningen. Det er effektivt, men ikke en trylleformular. Overvej altid, hvordan belønningen defineres, hvem der leverer feedback, og om der findes sikre måder at teste adfærden på, før den sættes i drift.

Det er lidt som at træne en hund: konsekvent belønning former adfærd, men hvis belønningerne er uklare eller uensartede, forstår hunden ikke, hvad du vil have.

Skal flere end én i huset kunne noget med reinforcement learning, så se, hvordan en AI-workshop er skruet sammen.