Hvordan virker RAG i praksis?
Et RAG-system fungerer i tre trin, hver gang en bruger stiller et spørgsmål:
Hentning (Retrieval): Brugerens spørgsmål konverteres til en matematisk repræsentation (et embedding), som sammenlignes med alle dokumenter i en vector database. De mest relevante uddrag hentes frem.
Kontekstualisering (Augmentation): De hentede uddrag sendes sammen med brugerens spørgsmål til sprogmodellen som kontekst. Modellen ved nu, hvad der er relevant for det konkrete spørgsmål.
Generering (Generation): Modellen genererer et svar, der er forankret i de hentede data, ikke i tilfældig viden fra træningen.
Eksempel: En medarbejder spørger virksomhedens interne AI-assistent: 'Hvad er vores afskrivningspolitik for biler?' RAG-systemet finder det relevante afsnit i regnskabspolitikken, og modellen svarer præcist, selvom politikken er opdateret for tre måneder siden.
Consile er specialiseret i enterprise RAG-arkitektur og AI-agenter. Kontakt os for en uforpligtende snak om, hvad RAG kan gøre for jeres organisation.
Hvornår giver RAG mening?
RAG er den rigtige tilgang, når svaret afhænger af information, der ændrer sig over tid, som priser, politikker og produkter. Det giver også mening, når du vil begrænse AI-systemets svar til kun at omhandle din virksomheds data, når du har brug for sporbarhed (RAG kan vise, hvilke dokumenter svaret er baseret på), og når du vil reducere hallucinationer.
RAG er derimod typisk ikke den bedste løsning, hvis du vil ændre modellens stil, tone eller adfærd. Der er fine-tuning mere relevant.
Hvad RAG ikke er
RAG er ikke det samme som at give en AI adgang til internettet. RAG arbejder udelukkende med den vidensbase, du selv definerer og vedligeholder.
RAG er heller ikke det samme som fine-tuning. Hvor fine-tuning ændrer selve modellens viden permanent og er dyrt og tidskrævende, er RAG et dynamisk lag ovenpå modellen, der kan opdateres løbende uden at røre modellen.
RAG eliminerer heller ikke hallucinationer helt, men reducerer dem markant i de use cases, hvor systemet er designet til at svare på baggrund af kendte dokumenter.