Compound AI System (Sammensat AI-system)

Sådan fungerer et compound AI system teknisk

1. Orkestreringslaget styrer flowet. I centrum af ethvert compound system sidder en orkestrator, der bestemmer, hvilke komponenter der skal aktiveres, i hvilken rækkefølge, og med hvilke data. Det kan være et simpelt Python-script, en rammeværksbaseret pipeline i LangChain eller LangGraph, eller en mere deklarativ tilgang som DSPy, hvor optimeringsalgoritmer selv finder den bedste rækkefølge. Orkestratoren modtager brugerens input, planlægger en sekvens af trin og koordinerer resultater mellem komponenterne.

2. Retrievere henter ekstern viden. En af de mest udbredte komponenter er en RAG-pipeline, der henter relevante dokumenter fra en vidensbase, før LLM'en genererer sit svar. Retrieverens opgave er at finde de 5-20 mest relevante tekstpassager ud af potentielt millioner af dokumenter. Det sker typisk i to faser: en hurtig semantisk søgning via embeddings i en vektordatabase, efterfulgt af en reranker, der scorer og sorterer resultaterne med højere præcision. Populære vektordatabaser inkluderer Pinecone (fra $70/måned for serverless), Weaviate (open source, managed fra $25/måned) og Qdrant (open source, cloud fra $65/måned).

3. Værktøjer og API'er udvider kapabiliteten. Tool calling giver LLM'en adgang til eksterne systemer: en lommeregner til præcise beregninger, en kodekørsel til at afvikle Python, et CRM-API til at hente kundedata, eller en søgemaskine til realtidsinformation. Forskellen fra RAG er, at værktøjer udfører handlinger, ikke bare henter tekst. I et compound system definerer orkestratoren, hvilke værktøjer der er tilgængelige, og LLM'en beslutter, hvornår og hvordan de bruges.

4. Validerings- og sikkerhedslag fanger fejl. Her adskiller compound systems sig stærkest fra monolitiske modeller. Et valideringslag kan tjekke LLM-output mod forretningsregler ("er dette beløb inden for policens maksimumdækning?"), faktuelt mod kildedokumenter ("bekræfter retrieverens resultater dette tal?"), eller strukturelt ("er outputtet valid JSON i det forventede format?"). Guardrails fungerer som et sikkerhedsnet, der forhindrer uønsket output i at nå slutbrugeren.

5. Hukommelse og tilstandsstyring. I modsætning til en statsløs API-kald til en LLM har compound systems ofte en hukommelseskomponent, der gemmer samtalehistorik, brugerens præferencer eller mellemresultater fra tidligere trin. Det muliggør længere, mere kontekstbevidste interaktioner. Hukommelsen kan være korttids (inden for en session) eller langtids (på tværs af sessioner), og den kan lagres i en traditionel database, en vektordatabase eller begge dele.

6. Specialiserede modeller til specifikke opgaver. Et compound system behøver ikke at bruge den samme model til alle trin. En billig, hurtig model som Gemini 3.5 Flash eller Claude Haiku kan håndtere klassificering og routing, mens en mere kapabel model som GPT-4o eller Claude Sonnet håndterer den egentlige generering. Denne model-routing reducerer omkostningerne markant. Databricks har rapporteret, at compound systemer med model-routing kan reducere inferensomkostningerne med 40-60% sammenlignet med at bruge en frontiermodel til alt.

7. Arkitekturens modulære fordel. Den tekniske nøglefordel er modularitet. Hver komponent har et klart defineret interface, der specificerer input og output. Det betyder, at du kan udskifte en retriever uden at ændre LLM-komponenten, opgradere til en ny model uden at omskrive valideringslogikken, eller tilføje et nyt værktøj uden at påvirke resten af systemet. Denne adskillelse af ansvar (separation of concerns) er velkendt fra softwarearkitektur, men er relativt ny i AI-verdenen, hvor monolitiske modeller dominerede indtil 2023.

Arkitektonisk sammenligning med enkeltmodelmetoden. Når du sender en prompt til en LLM alene, får du ét svar baseret på modelens parameterdata. Den har ingen adgang til dine interne data, kan ikke udføre handlinger, og du har minimal kontrol over dens ræsonnement. Et compound system giver dig kontrol over hvert trin: du bestemmer, hvilke data der indgår, hvilke valideringer der køres, og hvilke handlinger der tillades. Det er forskellen mellem at stille et spørgsmål til en generalist og at sætte et team af specialister til opgaven.

Vi hjælper danske virksomheder med at designe og bygge compound AI systems, der kombinerer de rigtige modeller, datakilder og valideringskomponenter til jeres specifikke forretningsbehov. Kontakt os for en teknisk gennemgang af, hvordan et modulært AI-system kan erstatte eller opgradere jeres nuværende AI-løsning.

Konkrete kapabiliteter og forretningseksempler

Intelligent dokumentbehandling med faktavalidering
Et compound system kan automatisere behandling af kontrakter, fakturaer eller ansøgninger ved at koble OCR, en klassificeringsmodel, en retriever mod interne regler og en LLM til at generere en struktureret opsummering. En dansk advokatvirksomhed bruger denne tilgang til at gennemgå lejekontrakter: systemet udtrækker nøglevilkår, sammenligner dem med standardkontrakter via RAG og flager afvigelser. Hvad der tog en jurist 45 minutter, tager systemet under 2 minutter.

Kundeservice med kontekstuel eskalering
I stedet for en simpel chatbot bygger compound systems en serviceflow, hvor en lille model klassificerer henvendelsen (reklamation, spørgsmål, bestilling), en retriever finder relevante FAQ-svar og ordredata, og en stærkere model formulerer svaret. Hvis systemets confidence-score er under en tærskel, eskalerer det automatisk til en menneskelig agent med al kontekst samlet. Det er den arkitektur, virksomheder som Klarna og Maersk bruger til kundeservice-AI.

Salgsassistent med CRM-integration
Et compound system til salg kobler en LLM med CRM-data (fx HubSpot eller Salesforce), e-mailhistorik, og en lead scoring-model. Sælgeren beder systemet om at forberede et møde, og det henter automatisk kundens købs- og interaktionshistorik, identificerer upsell-muligheder baseret på lignende kunder og genererer talepunkter. Den ene model henter data, en anden analyserer mønstre, en tredje skriver briefingen.

Compliance-overvågning i regulerede brancher
Finansielle institutioner og sundhedsvirksomheder bruger compound systems til at overvåge compliance. Systemet kombinerer en governance-komponent, der holder styr på regulatoriske krav (EU AI Act, GDPR, MiFID II), med en RAG-pipeline, der henter de relevante lovtekster, og en valideringsmodel, der scorer, om en given handling overholder reglerne. Et dansk pengeinstitut kan dermed automatisere dele af sin KYC-proces (Know Your Customer), hvor systemet henter kundedata, matcher dem mod PEP-lister og sanktionsdatabaser, og genererer en risikovurdering.

Kodeassistance med test og validering
Agentic coding-systemer som Cursor, GitHub Copilot Workspace og Codex er compound systems. De kombinerer en kodegenereringsmodel med en kodekørsel (til at verificere, at koden virker), en retriever (til at finde relevant eksisterende kode i repositoriet), og en testmodel (til at generere og køre tests). Resultatet er kode med markant færre fejl end det, en enkelt model producerer.

Flersproget vidensbase med automatisk oversættelse
En dansk virksomhed med internationale kunder kan bygge et compound system, der modtager et spørgsmål på dansk, oversætter det til de sprog, kundedokumentationen findes på (fx engelsk og tysk), henter relevante passager fra flere sprogversioner, og syntetiserer svaret tilbage på dansk. Hver komponent (oversættelse, retrieval, syntese) er optimeret separat, hvilket giver bedre resultater end en enkelt multimodal model.

Dataanalyse med naturligt sprog
Et system, der lader brugeren stille spørgsmål til virksomhedens data på naturligt sprog, kombinerer en text-to-SQL-model (der konverterer spørgsmålet til en databaseforespørgsel), en kodekørsel (der afvikler forespørgslen mod den rigtige database), og en LLM (der formulerer resultatet som et læsbart svar med grafer og forklaringer). Denne arkitektur bruges af platforme som Databricks AI/BI og ThoughtSpot.

Konkurrenter og platforme i markedet

LangChain
LangChain er den mest udbredte open source-ramme til at bygge compound AI systems. Grundlagt i 2022 af Harrison Chase, tilbyder LangChain abstraktioner for chains, agenter, værktøjer, hukommelse og retrieval i Python og TypeScript. I 2025 nåede virksomheden $16 mio. i omsætning med over 1.000 betalende kunder og en vurdering på $1,25 mia. efter $260 mio. i samlet funding. LangChains styrke er bredden: det er den ramme, der understøtter flest integrationer (200+ værktøjer og modeller). Svagheden er kompleksiteten. Mange teams finder, at LangChains abstraktioner tilføjer overhead, der gør debugging vanskeligt. LangSmith (observability-platformen) koster fra $0 (Developer) til $39/bruger/måned (Plus).

DSPy
DSPy er udviklet af Stanford NLP og tager en fundamentalt anderledes tilgang: i stedet for at lade udvikleren skrive prompts manuelt, behandler DSPy prompts som parametre, der optimeres automatisk baseret på metrikker og eksempler. Det er som forskellen mellem at skrive SQL og at lade en query optimizer finde den bedste plan. DSPy er open source under MIT-licens og gratis at bruge. Styrken er, at det producerer mere robuste systemer med mindre manuel prompt engineering. Svagheden er en stejlere læringskurve og færre integrationer end LangChain.

LlamaIndex
LlamaIndex fokuserer specifikt på retrieval og dataindtagelse. Hvor LangChain er en generel orkestrerings-ramme, er LlamaIndex specialiseret i at koble LLM'er med strukturerede og ustrukturerede datakilder. Det er det oplagte valg, når kernen i dit compound system er RAG. LlamaIndex Cloud koster fra $0 (Community) til $499/måned (Pro), med enterprise-priser efter aftale. Styrken er den dybe support for komplekse retrieval-strategier (hierarkisk, grafbaseret, hybrid). Svagheden er, at det er mindre velegnet til agent-baserede systemer med mange værktøjer.

Haystack (deepset)
Haystack er en tysk open source-ramme, der er særligt populær i regulerede brancher i Europa. Styrken er den tydelige pipeline-arkitektur, der gør det nemt at forstå, teste og auditere hvert trin, hvilket er vigtigt for EU AI Act-compliance. Svagheden er et mindre community end LangChain og færre tredjepartsintegrationer.

Databricks (Mosaic AI)
Databricks, medstiftet af Matei Zaharia, der også formaliserede compound AI-begrebet, tilbyder en integreret platform, hvor data, modeller og orkestrering lever i samme miljø. Mosaic AI Agent Framework er Databricks' tilgang til compound systems, med built-in governance, monitoring og Unity Catalog-integration. Prisen afhænger af compute-forbrug (fra ca. $0,07/DBU), men platformens styrke er, at den eliminerer behovet for separate data- og ML-platforme. Svagheden er vendor lock-in til Databricks-økosystemet.

Hvor compound AI systems skiller sig ud. Compound systems er ikke en konkurrent til disse platforme, men det paradigme, de alle implementerer. Forskellen mellem platformene ligger i, hvor meget kontrol du ønsker (DSPy giver mest automatisering, LangChain mest fleksibilitet), hvor reguleret din branche er (Haystack scorer her), og om du allerede har en dataplatform (Databricks vinder for eksisterende kunder). Ingen platform dækker alt, og mange virksomheder kombinerer flere: LlamaIndex til retrieval, LangChain til orkestrering og Haystack til compliance-kritiske flows.