GDP Val (AI-benchmark)
GDPval er et AI-benchmark udviklet af OpenAI, der måler hvor godt sprogmodeller løser reelle erhvervsopgaver. Benchmarket dækker 44 erhverv fordelt på de ni største sektorer i den amerikanske økonomi og indeholder 1.320 opgaver designet af fagfolk med gennemsnitligt 14 års erfaring. Hvor ældre benchmarks som MMLU og HumanEval tester isolerede færdigheder, simulerer GDPval det komplette arbejdsprodukt: juridiske notater, ingeniørberegninger, kundeservicedialoger, sygeplejejournaler og finansielle analyser.
Konkret fungerer det sådan: en AI-model modtager en opgave med referencefiler og kontekst, producerer et leverbart resultat, og derefter sammenligner en blindet fagekspert modellens output med en menneskelig eksperts output uden at vide, hvilket der er hvilket. Forestil dig, at du giver en AI-model en opgave om at skrive et juridisk brev baseret på en konkret sag med bilag. Eksperten bedømmer brevet side om side med et menneskeskrevet brev og angiver, hvilket der er bedst.
For danske virksomheder, der evaluerer LLM'er til konkrete arbejdsprocesser, giver GDPval et mere relevant sammenligningsgrundlag end traditionelle benchmarks. Når en model scorer højt på GDPval inden for eksempelvis finans eller detailhandel, siger det noget direkte om, hvordan modellen klarer opgaver, der minder om dem, dine medarbejdere udfører dagligt.
Sådan fungerer GDPval teknisk
1. Opgavedesign baseret på reelt arbejde. Hver af de 1.320 opgaver er konstrueret ud fra et faktisk arbejdsprodukt skabt af en erfaren fagperson. OpenAI samarbejdede med eksperter fra ni sektorer: finans og forsikring, professionelle tjenester, sundhed, offentlig administration, detailhandel, informationsteknologi, fremstilling, uddannelse og ejendom. Opgaverne kræver, at modellen producerer komplette leverancer: dokumenter, præsentationer, diagrammer, regneark og multimedieindhold. Det er ikke multiple-choice; det er fuldstændige arbejdsprodukter.
2. Blindet parvis evaluering som primær metrik. Fordi automatisk bedømmelse af komplekse leverancer er upålideligt, bruger GDPval menneskebaseret evaluering som primær metrik. En fagekspert modtager opgavebeskrivelsen og to unavngivne leverancer: modellens output og ekspertens output. Eksperten rangerer dem uden at vide, hvilket der er AI-genereret. Denne tilgang eliminerer den bias, der opstår, når bedømmeren ved, at den ene besvarelse kommer fra en maskine.
3. Gold subset med 220 opgaver og automatisk grading. For at gøre benchmarket tilgængeligt har OpenAI frigivet et åbent gold subset på 220 opgaver (fem per erhverv) via Hugging Face. Sammen med datasættet stiller de en eksperimentel automatisk grading-tjeneste til rådighed på evals.openai.com, så forskere og virksomheder kan køre evalueringer uden at hyre manuelle bedømmere. Den automatiske grader er dog mindre pålidelig end den menneskebaserede evaluering og bør bruges som supplement, ikke erstatning.
4. Sektorbaseret scoring i stedet for enkeltscore. I modsætning til benchmarks som MMLU, der giver en samlet procentscore, rapporterer GDPval resultater per sektor og erhverv. Det betyder, at en model kan score højt på finansopgaver, men lavt på sundhedsopgaver. For en dansk virksomhed, der overvejer at implementere AI i sin juridiske afdeling, er det langt mere brugbart end en gennemsnitsscore på tværs af alle domæner.
5. Iterativ opgavestruktur kontra one-shot evaluering. En vigtig teknisk begrænsning er, at GDPval i sin nuværende version evaluerer modeller i en one-shot-kontekst. Modellen får opgaven, producerer et resultat, og det er det. Virkeligheden er anderledes: de fleste vidensarbejdere itererer, stiller opfølgende spørgsmål og forbedrer deres output over tid. OpenAI har annonceret, at fremtidige versioner vil inkludere interaktive workflows, der bedre afspejler reel arbejdspraksis.
6. Forskellen på GDPval og traditionelle benchmarks. SWE-Bench måler, om en model kan løse GitHub-issues med fungerende kode. MMLU tester faktuel viden i multiple-choice-format. GPQA Diamond tester dyb faglig ræsonnering. GDPval derimod måler, om en model kan producere et komplet leverbart arbejdsprodukt på ekspertniveau. Det er forskellen på at besvare et spørgsmål korrekt og at skrive en hel rapport, der ville bestå kvalitetskontrol hos en erfaren kollega.
7. Automatisk vs. menneskelig evaluering: pålidelighed. OpenAIs egne analyser viser, at den automatiske grader korrelerer rimeligt med menneskelige bedømmelser på simple opgaver, men afviger på komplekse, kreative eller kontekstafhængige leverancer. For virksomheder, der vil bruge GDPval internt til at evaluere modeller, anbefales det at køre den automatiske grader som første filter og derefter lade fagfolk vurdere de mest relevante opgaver manuelt.
8. Infrastrukturkrav og reproducerbarhed. Hele gold subset'et er tilgængeligt på Hugging Face under datasætnavnet openai/gdpval. Opgaverne inkluderer referencefiler i forskellige formater (PDF, XLSX, PPTX, billeder), hvilket kræver, at den model, der evalueres, kan håndtere multimodalt input. Modeller uden dokumentforståelse eller billedgenkendelse vil automatisk score lavt på en stor del af opgaverne, uanset deres sproglige kapacitet.
Vil du vide, hvilken AI-model der passer bedst til jeres konkrete arbejdsopgaver? Vi hjælper med at evaluere modeller mod jeres egne workflows og opbygge en evalueringsproces, der går ud over generiske benchmarks. Kontakt os for en uforpligtende snak om AI-evaluering tilpasset jeres virksomhed.
Hvad GDPval konkret måler og hvad det betyder for din virksomhed
Juridiske leverancer (Legal Services)
GDPval inkluderer opgaver som udarbejdelse af kontraktudkast, juridiske notater og compliance-vurderinger. En model, der scorer højt her, kan potentielt håndtere første udkast af standardkontrakter, due diligence-resuméer og regulatoriske opsummeringer. For en dansk advokatvirksomhed med 20 jurister kan det betyde, at de mest rutineprægede skrivebordsopgaver reduceres med 30-50% i tidsforbruget.
Finansiel analyse (Finance & Insurance)
Opgaverne dækker finansielle modeller, risikovurderinger og investeringsnotater. I GDPval-resultater fra 2026 scorer frontier-modeller som Claude Opus 4.1 og GPT-5 tæt på ekspertniveau på standardiserede finansopgaver. En dansk kapitalforvalter eller revisor kan bruge GDPval-scores til at vurdere, om en given model er moden nok til at assistere med kvartalsvise rapporter eller porteføljeanalyser.
Sundhed og pleje (Healthcare)
Sygeplejejournaler, behandlingsplaner og klinisk dokumentation indgår i benchmarket. Resultater viser større variation her end i andre sektorer, fordi sundhedsopgaver kræver præcis fagterminologi og kontekstforståelse. For danske sundhedsorganisationer, der overvejer AI til journalføring eller triagering, giver GDPval-scores på sundhedsdomænet et mere realistisk billede end en generel LLM-score.
Detailhandel og kundeservice (Retail & Wholesale)
Opgaverne omfatter kundeservice-svar, produktbeskrivelser og salgsanalyser. Claude Opus 4.1 præsterer særligt godt i denne kategori ifølge de seneste evalueringer. Danske e-commerce-virksomheder, der overvejer at automatisere dele af deres kundeservice med en Conversational AI-løsning, kan bruge GDPval-data til at vælge den rette model.
IT og softwareudvikling (Information Technology)
Ud over ren kodegenerering, som SWE-Bench allerede måler, tester GDPval IT-opgaver som systemdokumentation, arkitekturbeslutninger og tekniske specifikationer. Det er opgaver, hvor en Copilot skal producere skriftlige leverancer, ikke kun kode. For danske IT-virksomheder giver det et supplement til SWE-Bench ved at dække den skriftlige del af udviklingsarbejdet.
Offentlig administration (Government)
Politikanalyser, borgerhenvendelser og regulatoriske dokumenter indgår i GDPval. Frontier-modeller scorer overraskende højt på offentlige forvaltningsopgaver, hvilket kan have betydning for danske kommuner og styrelser, der overvejer AI-støttet sagsbehandling. Dog er opgaverne baseret på amerikansk lovgivning, så direkte overførsel til dansk forvaltningspraksis kræver tilpasning.
Uddannelse (Education)
Læseplaner, evalueringsrubrikker og undervisningsmateriale er en del af benchmark'et. For danske uddannelsesinstitutioner, der afsøger mulighederne for AI-støttet indholdsproduktion, giver GDPval-resultater en indikation af, hvilke modeller der bedst formår at skabe pædagogisk indhold med korrekt faglig dybde.
Alternativer til GDPval og hvordan de adskiller sig
MMLU (Massive Multitask Language Understanding)
MMLU var i årevis det mest citerede LLM-benchmark. Det tester viden på tværs af 57 fagområder i multiple-choice-format. Problemet i 2026 er, at frontier-modeller scorer over 90%, hvilket gør det næsten umuligt at skelne mellem topmodeller. MMLU måler desuden kun faktuel genkaldelse, ikke evnen til at producere et komplet arbejdsprodukt. GDPval adresserer netop den svaghed ved at kræve fulde leverancer i stedet for korte svar. MMLU er gratis og åbent tilgængeligt.
SWE-Bench Verified
SWE-Bench tester, om en model kan løse reelle GitHub-issues med fungerende kode. Det er det vigtigste benchmark for softwareudvikling specifikt, og frontier-modeller når nu 70-80% på Verified-versionen. Hvor GDPval dækker 44 erhverv bredt, er SWE-Bench dybt fokuseret på kodning. Virksomheder, der primært evaluerer AI til softwareudvikling, får mere relevant data fra SWE-Bench; virksomheder, der evaluerer AI til bredere vidensarbejde, får mere fra GDPval. SWE-Bench er open source.
GPQA Diamond
GPQA Diamond er et ræsonnerings-benchmark med ekstremt svære spørgsmål inden for fysik, kemi og biologi. Det er i 2026 det mest diskriminerende benchmark på frontier-niveau, fordi selv topmodeller scorer under 95%. GPQA måler dog kun videnskabelig ræsonnering, ikke erhvervsmæssig opgaveløsningsevne. GDPval og GPQA supplerer hinanden: GPQA viser, hvor dybt en model kan ræsonnere, GDPval viser, hvad modellen kan levere i praksis.
Chatbot Arena (LMSYS)
Chatbot Arena bruger crowdsourcede, blindede sammenligninger mellem modellers svar til at generere Elo-ratings. Styrkerne er diversiteten i spørgsmål og den løbende opdatering. Svaghederne er, at bedømmerne er anonyme brugere (ikke fageksperter), og at opgaverne sjældent repræsenterer komplekst vidensarbejde. GDPval bruger også blindede sammenligninger, men med fageksperter og erhvervsrelevante opgaver. Chatbot Arena er gratis at følge; GDPval-datasættet er åbent, men menneskelig evaluering koster.
Humanity's Last Exam
Et nyere benchmark med ekstremt svære spørgsmål indsendt af forskere på tværs af fagområder. Målet er at identificere grænserne for AI-kapabilitet. Det er akademisk fokuseret og tester ikke erhvervsmæssig leveranceevne. GDPval er mere praktisk og erhvervsrettet, mens Humanity's Last Exam er mere forskningsorienteret.
Hvor GDPval er unik, og hvor det kommer til kort. GDPvals styrke er dens direkte kobling til økonomisk værdi: opgaverne repræsenterer reelt arbejde, der bidrager til BNP. Ingen anden benchmark giver så direkte en indikation af, hvornår AI-modeller kan erstatte eller augmentere vidensarbejde inden for specifikke erhverv. Svagheden er det amerikanske fokus (opgaverne er baseret på amerikansk lovgivning, forretningspraksis og GDP-sektoropdeling), one-shot-formatet, og at OpenAI selv har udviklet benchmarket, hvilket rejser spørgsmål om neutralitet.
Adgang, priser, begrænsninger og dansk kontekst
SWE-Bench tester AI-modellers evne til at løse rigtige softwareproblemer fra GitHub. Forstå benchmarket og dets betydning for AI-drevet udvikling.
En evaluation harness tester AI-modeller og agenter systematisk. Se, hvordan eval suites måler kvalitet og pålidelighed på jeres egne opgaver.
AI Readiness handler om, hvorvidt din organisation reelt er parat til at implementere og skalere AI. Forstå de seks dimensioner, der afgør succes.
Inference er det øjeblik, hvor en AI-model omsætter data til svar. Se hvorfor inference ofte er den største AI-udgift i drift, og hvordan du sænker den.
En frontier model er den mest avancerede type AI-model på markedet. Forstå hvad der kendetegner dem, og hvorfor de er centrale for virksomheders AI-strategi.
En reasoning model tænker trin for trin, før den svarer. Se hvordan justerbar ræsonnering virker i nutidens AI-modeller, og hvornår den skaber værdi.
Ofte stillede spørgsmål om GDPval
Hvad er forskellen på GDPval og MMLU?+
MMLU tester faktuel viden i multiple-choice-format på tværs af 57 fagområder. Frontier-modeller scorer over 90%, så det skelner ikke længere mellem topmodeller. GDPval kræver derimod, at modellen producerer komplette arbejdsprodukter som rapporter, præsentationer og analyser, bedømt af fageksperter med gennemsnitligt 14 års erfaring. GDPval måler altså leveranceevne, ikke blot videngenkaldelse.
Er GDPval gratis at bruge?+
Gold subset'et med 220 opgaver er gratis tilgængeligt på Hugging Face under openai/gdpval. OpenAI tilbyder også en eksperimentel automatisk grading-service på evals.openai.com. Den fulde menneskelige evaluering med 1.320 opgaver og fageksperter er dog ressourcekrævende og ikke offentligt tilgængelig. Vil du køre fuld evaluering med egne eksperter, skal du regne med over 100.000 kr. for 220 opgaver.
Kan GDPval bruges til at evaluere AI-modeller til danske erhverv?+
GDPval er baseret på amerikanske sektordefinitioner og engelsksprogede opgaver. For danske virksomheder fungerer det som en stærk indikator, men ikke en direkte forudsigelse. En model, der scorer højt på engelsksprogede finansopgaver, vil sandsynligvis også klare danske finansopgaver godt, men dansk lovgivning, sproglige nuancer og branchespecifikke praksisser er ikke dækket. EU AI Act anbefaler desuden evaluering i den faktiske deployeringskontekst.
Hvilke AI-modeller scorer højest på GDPval i 2026?+
De seneste evalueringer viser, at Claude Opus 4.1 og GPT-5 ligger i top. Claude Opus 4.1 producerer leverancer, der bedømmes som lige så gode eller bedre end ekspertens i næsten halvdelen af opgaverne. Frontier-modellernes performance på GDPval er omtrent fordoblet fra GPT-4o (forår 2024) til GPT-5 (sommer 2025), og tendensen fortsætter.
Hvad er begrænsningerne ved GDPval?+
De tre vigtigste begrænsninger er: One-shot-formatet, der ikke tillader iteration eller opfølgende spørgsmål, som reelt vidensarbejde kræver. Det amerikanske fokus, der ikke dækker europæiske lovgivningsrammer eller brancher som dansk shipping og landbrug. Og det faktum, at OpenAI selv har designet benchmarket, hvilket rejser spørgsmål om neutralitet, selvom uafhængige organisationer har bekræftet de overordnede resultater.
Hvordan kan min virksomhed bruge GDPval-resultater i praksis?+
Start med at identificere, hvilke sektorer i GDPval der ligger tættest på jeres kerneforretning. Sammenlign frontier-modellernes sektorspecifikke scores og vælg den model, der performer bedst på jeres domæne. Brug gold subset'et til at køre egne tests med den automatiske grader. Supplér med interne evalueringer på danske opgaver for at verificere, at resultaterne holder i jeres kontekst. Consile kan hjælpe med at designe en evalueringsproces tilpasset jeres specifikke behov.