API-platform
Når leverandøren siger 'vi bruger OpenAIs API', handler det om data, pris og integration.
Indhold
API-platformen er leverandørens tekniske portal, hvor udviklere får adgang til modellerne via en API-nøgle, vælger modelversion, ser forbrug og sætter grænser. Platformen indeholder typisk en playground til at teste prompts uden at kode, en forbrugsoversigt der viser tokens og omkostninger, og kontrol over grænser og modeller. Når jeres løsning siger "vi bruger OpenAI API", så foregår selve arbejdet og afregningen gennem en sådan platform.
Hvad en API-platform indeholder
En API-platform samler alt det, udvikleren skal bruge for at koble jeres system til en sprogmodel. Den har en playground, hvor I kan skrive prompts og prøve svar i et testmiljø, uden at I laver kode. Den viser forbrug opgjort i tokens, så I kan se hvor mange ord eller tegn I betaler for. Platformen tilbyder også mulighed for at skifte modelversion, sætte forbrugsgrænser, og administrere API-nøgler, som er de hemmelige koder, der giver jeres system adgang.
Ud over det tekniske er platformen typisk stedet, hvor aftaler om datahåndtering og brugsvilkår findes. Hvis leverandøren siger, at de "ikke gemmer jeres data", så står den formelle kontrakt og mulighed for at konfigurere det her.
Når leverandøren siger "vi bruger OpenAIs API", hvad betyder det for dig
For en leder betyder det konkret tre ting: omkostningsmodel, dataansvar, og et andet produkt end ChatGPT-appen. I betaler normalt per token, ikke per bruger, så regnemetoden er ord og tegn. Det kan give overraskelser i en proof of concept, hvis der ikke sættes grænser. Det betyder også, at jeres leverandør eller IT-afdeling har ansvaret for at håndtere API-nøglerne og sørge for, at persondata ikke sendes utilsigtet til tredjepart. ChatGPT-appen er et komplet produkt til slutbrugere; en API-platform er værkstedet, hvor nogen bygger løsningen til jer.
Eksempel: API-platform i praksis hos en IT-chef
En IT-chef i en mellemstor webshop står en tirsdag formiddag tre uger før sommerudsalget og skal integrere en produktbeskrivelse-generator. Leverandøren siger: "vi bygger på OpenAI API". IT-chefen får adgang til en API-nøgle, og udvikleren bruger playgrounden til at finde en prompt, der laver korte beskrivelser ud fra en CSV med 1.200 varer. Det første testkør viste fine tekster, men også et pludseligt forbrug da en batch blev kørt på hele kataloget, og regningen steg samme måned. Desuden blev en gammel PDF med leverandørpriser ved en fejl sendt i en prompt og krævede opfølgende gennemgang af datastyring. Resultatet var to ting: justering af forbrugsgrænser i platformen og en checkliste for, hvad der må sendes i requests. Arbejdet tog i alt tre arbejdsdage at rette op på, og læringen var klar: playgrounden er god til at teste, men produktion kræver låste grænser, logning og en datakontrakt.
Sådan kommer du i gang med en API-platform
- Få klarlagt hvem der ejer API-nøglerne i organisationen, og gem dem sikkert.
- Brug playgrounden til at teste prompts og modelversioner, før I koder noget.
- Sæt forbrugsgrænser og overvåg tokens i forbrugsoversigten fra dag ét.
- Sørg for en data-aftale, der beskriver om leverandøren må gemme eller bruge jeres input.
- Planlæg en fejlprocedure for, hvis private dokumenter ved en fejl sendes til modellen.
API-platform er ikke det samme som ChatGPT
En API-platform er et udviklermiljø, ChatGPT er en færdig brugerflade. En API-platform måler og afregner i tokens, mens ChatGPT typisk sælger abonnementer til slutbrugere. De to kan bruge samme underliggende model, men de er forskellige produkter, med forskellige kontrakter og kontrolmuligheder. Tænk på det som at leje motoren i stedet for at købe en færdig bil, og så bygge karrosseriet selv.
Det er svært at læse sig til API-platform. I kommer længere med en workshop, hvor I bygger på jeres egne opgaver.
Ofte stillede spørgsmål om API-platform
Er en API-platform det samme som ChatGPT?
Nej. ChatGPT er en færdig brugerflade til slutbrugere. En API-platform er et udviklermiljø, hvor man med en API-nøgle kalder modellerne fra egne systemer og styrer forbrug og modeller.
Koster brug af en API-platform noget?
Ja, de fleste leverandører opkræver betaling per token eller per forespørgsel. Der kan også være abonnementer eller niveauer med forskellige modelversioner, så hold øje med forbrugsoversigten.
Kan vi bruge en API-platform uden udviklere?
I kan teste i playgrounden uden udvikling, men hvis I vil integrere modellen i eksisterende systemer, kræver det typisk en udvikler til at håndtere API-kald, nøgler og sikkerhed.
Hvad er en API-nøgle og et token i den sammenhæng?
En API-nøgle er den hemmelige adgangskode, jeres system bruger for at kalde platformen. Et token er den enhed, platformen måler for forbrug, svarende til stykker af tekst som modellen læser eller skriver.
AI-rådgiver og underviser, grundlægger af AI Hero i Herning. Har bygget digitalt i over 20 år og hjælper danske virksomheder med at få AI i drift. Læs mere om Brian.