Context Caching i erhvervslivet
Context caching giver mest værdi i scenarier, hvor den samme store mængde tekst skal indgå i mange forespørgsler. Det dækker en stor del af de AI-løsninger, virksomheder bygger i dag.
Kundeservice og chatbots: En supportbot, der besvarer spørgsmål om virksomhedens produkter, har brug for de samme produktmanualer i hver eneste samtale. Ved at cache manualerne én gang og genbruge dem på tværs af tusindvis af samtaler falder omkostningen pr. samtale dramatisk, og svartiden bliver mærkbart hurtigere.
Dokumentanalyse: En jurist eller revisor, der stiller flere spørgsmål til den samme kontrakt eller årsrapport, behøver ikke at sende dokumentet ind igen for hvert spørgsmål. Cachen holder dokumentet klar, mens analytikeren arbejder sig igennem sine forespørgsler. Det er en simplere arkitektur end RAG og fungerer godt, når dokumenterne er afgrænsede og kendte på forhånd.
Kodningsassistenter: AI-værktøjer, der hjælper udviklere, sender ofte hele kodefiler ind som kontekst. Med caching kan filerne genbruges på tværs af flere kald, hvilket gør forslag og analyser mærkbart hurtigere.
Standardiserede arbejdsgange: Når en virksomhed bruger den samme lange systeminstruktion til alle sine AI-medarbejdere, kan instruktionen caches centralt. Det betyder, at hver enkelt forespørgsel kun betaler for den dynamiske del af samtalen, ikke for de hundredvis eller tusindvis af tokens i baggrundsinstruktionen.
For en organisation, der kører mange forespørgsler om dagen mod en LLM, kan context caching være forskellen mellem en business case, der ikke hænger sammen, og en, der gør.
Hvad Context Caching ikke er
Context caching er ikke det samme som at træne eller fine-tune en model. Cachen ændrer ikke modellens vægte eller adfærd. Den gemmer udelukkende den forbehandling, modellen alligevel ville have lavet, og genbruger resultatet. Når cachen udløber, er der ingen blivende effekt på modellen.
Det er heller ikke det samme som semantic caching, hvor systemet gemmer hele svar på spørgsmål og returnerer samme svar, hvis et nyt spørgsmål ligner et tidligere. Context caching genbruger den forbehandlede kontekst, men modellen genererer stadig et nyt svar for hver forespørgsel. Det betyder, at svaret kan tilpasses den enkelte bruger, selvom baggrundsdokumentationen er den samme.
Endelig løser context caching ikke problemet med at give modellen ny viden. Hvis indholdet, der caches, bliver forældet, skal cachen opdateres manuelt eller efter dens udløb. For dynamiske datakilder er RAG eller andre retrieval-tilgange ofte mere passende.
