Big data

Big data er datamængder så store, hurtige eller varierede, at almindelige værktøjer som Excel eller en almindelig database ikke kan håndtere dem effektivt. De tre V'er forklarer forskellen: volume (mængde), velocity (hastighed) og variety (variation). Moderne AI har kun været mulig, fordi virksomheder og forskere har haft adgang til netop sådanne store, løbende datastrømme.

Hvorfor 'big data' ikke skal skræmme små og mellemstore virksomheder

Mange ledere siger: "Vi har ikke big data, så AI er ikke for os." Det er en misforståelse. For langt de fleste SMV'er er der værdi i at bruge sprogmodeller eller simple maskinløsninger på små til mellemstore datasæt: kundemails, salgsregistre eller få års regneark. Big data er en teknisk betegnelse, ikke et krav for at få effekt. Men; hvis du planlægger at analysere millioner af sensoraflæsninger eller realtidslog fra tusindvis af brugere, så taler vi om big data-arkitektur.

Sådan virker Big data i praksis

Tænk på forskellen mellem at sortere post i en brevkasse og styre postuddelingen i en by. Volume svarer til hvor meget post, velocity til hvor hurtigt den kommer, og variety til om det er breve, pakker eller PDF'er. Når volumen og velocity er meget høje, kræver det særlige værktøjer: distribuerede databaser, streaming-platforme og automatiserede processer. For en dagligdag i en lille virksomhed betyder det sjældent, at I skal bygge det selv; I køber enten en cloud-tjeneste eller bruger en leverandør, der allerede har infrastrukturen.

Eksempel: Big data hos en dansk virksomhed

En kontorleder i en mellemstor produktionsvirksomhed stod midt i en uges planlægning før en stor kundeinspektion. Virksomheden havde en arkivmappe med 1.200 PDF-tegninger, en gammel prisliste fra 2018 i et regneark og en kasse med scannede leverandørfakturaer. Der var ingen central oversigt, og tre kolleger arbejdede i hver sin kopi af filerne. Kontorlederen prøvede først at samle data manuelt, men det blev langsomt og fejlbehæftet: navne blev stavet forskelligt, versioner gik tabt, og der manglede en samlet søgemulighed. Løsningen blev at lave et lille indeks og importere metadata til en søgbar database over to dage, så dokumenter kunne findes på tag, dato og projektnummer. Det tog tid at rydde op, og nogle filer måtte genindscannes, men kontorlederen fik et arbejdebart overblik til forberedelsen af inspektionen. Erfaringen: I behøver ikke big data for at få værdi, men I skal bruge tid på at rydde op i de eksisterende filer.

Big data er ikke det samme som vektordatabase, træningsdata eller Transformer

Big data beskriver mængden og typen af data. En vektordatabase er et værktøj til at søge i tekst eller billeder ud fra numeriske repræsentationer (embeddings), den kan være nyttig, også uden store datamængder. Træningsdata er det sæt eksempler, en model lærer af; det kan være enten lille eller stort. En Transformer er en modelarkitektur, der gør sprogmodeller effektive; den kræver ofte store mængder træningsdata for at blive trænet fra bunden, men I kan bruge transformer-baserede tjenester uden selv at træne modellen.

Sådan kommer du i gang med at få værdi, også uden big data

1. Kortlæg jeres data: find hvor kundemails, tilbud, kataloger og scannede dokumenter ligger, og noter formater og ansvarlige personer.
2. Ryd op i metadata: standardiser filnavne, datoer og nøglefelter i et par klynger af filer.
3. Prøv en proof-of-concept: vælg en opgave (søgning i dokumenter, automatisk opsummering af mails) og test med en lille, ryddet datasamling.
4. Evaluer risiko og fortrolighed: tjek hvem der må se hvad, og om data kan bruges i tredjeparts-tjenester.
5. Skaler kun hvis behovet kræver det: når mængden, hastigheden eller variationen vokser, overvej cloud-løsninger eller konsulthjælp.

Big data er nyttigt i store sammenhænge, men det er ikke en forudsætning for at bruge AI. Men ikke hvis du er lidt smart: god struktur og to timers oprydning kan gøre jeres små datasæt langt mere anvendelige.

Valget om big data er sjældent kun teknisk. Retningen sættes med AI-rådgivning.