NVIDIA udgav onsdag den 28. oktober Nemotron 3.5 Transcribe, en open-weight model der transskriberer optaget lyd på 40 sprog, oversætter, adskiller talere og svarer på spørgsmål om en optagelse. Mange firmaer laver talegenkendelse. Det usædvanlige ved denne er, at I må downloade modellen og køre den på jeres eget udstyr, mens de fleste nye AI-lanceringer i denne uge enten er lukkede eller først kommer til EU senere.
Vi har læst NVIDIAs forskningsside, selskabets egen blog på Hugging Face og dækningen fra TechCrunch, The New Stack og The Decoder. Gennemgangen herunder skiller NVIDIAs egne tal fra de uafhængige, forklarer den ene begrænsning der afgør, om modellen passer til jeres opgave, og peger på, hvad en dansk virksomhed konkret kan gøre med en transskriptionsmodel, der aldrig behøver sende lyden ud af huset.
Nemotron 3.5 Transcribe er det, NVIDIA kalder en speech-augmented language model. I stedet for en klassisk talegenkendelsesmodel, der er trænet til at levere én fast type udskrift, er det en sprogmodel med et lydøre sat på. Den samme model kan transskribere ordret, rydde op i øh'er og gentagelser, sætte talernavne på, oversætte og svare på spørgsmål om indholdet, alt efter hvad du beder om. Den kombinerer en lyd-encoder, en fastfrosset model til at adskille talere og en stor sprogmodel bygget som en mixture of experts. Af de cirka 30 milliarder parametre er kun omkring 4 milliarder aktive ad gangen, oplyser NVIDIA, og det er grunden til, at en så stor model kan køre på én GPU.
Modellen kom sammen med et nyt datasæt, Granary v2, på 463.062 timers tale fordelt på 48 sprog. Ifølge NVIDIAs forskningsside transskriberer den 40 sprog, oversætter 31 af dem til og fra engelsk, sætter talernavne på i 13 sprog og håndterer optagelser på op til en time med op til otte talere. NVIDIA udgiver den under OpenMDW-1.1-licensen, der tillader kommerciel brug, og lægger både en fuld udgave og komprimerede udgaver op, så den kan køre fra en kraftig arbejdsstation op til datacenter-hardware.
NVIDIA begrunder designet med en pointe, de fleste der har fået et møde transskriberet vil nikke til: der findes ikke én korrekt udskrift af en optagelse. Hvad der er korrekt, afhænger af, hvem der læser den, og hvad den skal bruges til. En juridisk afdeling vil have hvert ord med, inklusive afbrydelser. En referent vil have en renset version. En controller vil måske bare vide, hvilke beslutninger der blev truffet. Klassiske systemer vælger én af de konventioner, når de trænes. Her vælger du den i prompten, optagelse for optagelse.
I praksis kan du give modellen en liste over navne og fagudtryk, før den går i gang, og bede den kun bruge dem, hvis de faktisk optræder i lyden. NVIDIA oplyser, at en sådan liste reducerer fejl på navne og andre enheder seks gange på deres egen test. Modellen sætter også tidsstempler på de enkelte ord og adskiller talere, mens den skriver ud. Funktionen til at svare på spørgsmål om en optagelse er dog kun trænet på engelsk, og hvilke funktioner der virker, varierer fra sprog til sprog, som The New Stack noterer. Hold fast i det, før I lover forretningen en dansksproget spørgefunktion.
NVIDIA kalder modellen den bedste open-weight model på Open ASR Leaderboard, og det er delvist efterprøveligt. Problemet er, at selskabets to egne kanaler ikke er enige med sig selv. Forskningssiden angiver en gennemsnitlig ordfejlrate på 4,71 procent på de ni engelske testsæt og 4,62 procent på det flersprogede leaderboard. NVIDIAs blog på Hugging Face angiver derimod 5,33 procent som førstepladsen blandt open-weight modeller på det engelske leaderboard, med lukkede API-modeller holdt ude. Begge tal er NVIDIAs egne, og de modsiger hinanden. Tag derfor et øjebliksbillede af leaderboardet selv, før I bruger et bestemt tal i en indkøbsbeslutning.
Det mest oplysende tal kommer et andet sted fra. Artificial Analysis, der måler modeller uafhængigt, placerer ifølge The Decoder Nemotron på 2,81 procent ordfejlrate mod 2,77 procent for Mistrals Voxtral Small. Nemotron ligger altså en anelse bagud på det tal, men bruger kun omkring en sjettedel så mange aktive parametre til at nå dertil. Den reelle nyhed er effektiviteten: sammenlignelig præcision for langt færre aktive parametre. På taleradskillelse er forspringet tydeligere, hvor modellen på en test fra David AI på 21 sprog fører med en fejlrate på 18,26 procent, lige foran NVIDIAs egen dedikerede model til formålet.
Ét tal mangler helt: dansk. NVIDIA oplyser ikke en særskilt ordfejlrate for dansk, og 40 sprog dækker over store forskelle. Det betyder ikke, at modellen er dårlig på dansk, men at I ikke kan vide det uden at teste på jeres egne optagelser. Og det er ikke en formalitet. Dansk med fagtermer, forkortelser og tre personer, der taler i munden på hinanden, er noget andet end ren engelsk oplæsning i et stille lokale.
Én ting afgør, om modellen overhovedet passer til jeres opgave: den virker kun på optaget lyd, ikke på direkte lyd. TechCrunch skriver det kort, at modellen arbejder med optagelser, ikke livestreams, og The Decoder tilføjer, at den ikke understøtter realtidsbehandling. Det lukker en hel kategori af brug: live undertekster, en kundeservicebot der lytter med i samtalen, en agent der svarer, mens mødet kører. Vil I have det, skal I et andet sted hen. NVIDIAs egen model til taleradskillelse, der kom i september, kan køre på live samtaler, og Mistrals Voxtral 3 er netop bygget til stemmeagenter i realtid.
For de fleste virksomheder er det en mindre begrænsning, end det lyder. Møder, kundeopkald, interviews og undervisning optages typisk og behandles bagefter. Det er præcis det, modellen er bygget til. Men valget skal træffes bevidst: er behovet efterbehandling eller live, og hvis det er begge dele, er det to forskellige værktøjer, I skal regne med.
Open weight betyder ikke gratis at drive. En model på 30 milliarder parametre kræver en rigtig GPU og kan ikke bare køre på en bærbar. NVIDIA lægger den op i flere udgaver: en fuld BF16-version og komprimerede udgaver i FP8, NVFP4 til deres nyeste Blackwell-kort og en GGUF-udgave til lokal drift. Kvantisering afgør her, om modellen overhovedet kan være på jeres hardware. NVIDIA oplyser, at NVFP4-udgaven kan transskribere 100 timers lyd på under tre minutter på ét RTX PRO 6000 Blackwell-kort, målt på korte klip med mange parallelle kald.
Serveringen kører i dag gennem vLLM, og en lokal udgave via NeMo-Speech.cpp er på vej. Modellen kan også finjusteres til et fagområde. NVIDIA viser et eksempel på medicinsk tale, hvor ordfejlraten på nye talere faldt fra 22,44 til 12,17 procent efter finjustering, en forbedring på knap 46 procent, for omkring 14 GPU-timer på et enkelt kort. Læs det med forbehold: træningsdataene var overvejende syntetisk tale, og den generelle engelske præcision faldt en anelse. Vil I ikke selv drive en GPU, kan modellen hostes hos en udbyder, men så står I igen med spørgsmålet om, hvor lyden havner, som open weight ellers løste.
Når lyd forlader huset til et cloud-API, bliver transskription en databehandling hos en tredjepart. Det udløser en databehandleraftale, spørgsmål om overførsel til usikre tredjelande og en leverandør, der nu sidder med jeres møder. Kører modellen på jeres eget udstyr, forsvinder det meste af det problem. Optagelsen bliver, hvor den er. Det er dér, den egentlige værdi ligger for en dansk virksomhed.
Men open weight er ikke det samme som GDPR-compliant. En mødeoptagelse er personoplysninger, og I skal stadig have et formål, et retsgrundlag, information til deltagerne og en slettepolitik. Selvhosting fjerner spørgsmålet om tredjepartsoverførsel, ikke pligten til at behandle lovligt.
Bruger I udskrifterne til beslutninger om mennesker, for eksempel i en ansættelses- eller performancesammenhæng, kommer kravene om menneskeligt tilsyn fra EU AI Act oveni. NVIDIA anbefaler selv, at man stikprøvekontrollerer navne, talerskift og svar, og det råd er lige så meget compliance som kvalitet. Vores guide til EU AI Act gennemgår, hvor grænserne går.
For første gang i et stykke tid er svaret på en AI-lancering ikke at den kommer til EU senere. Modellen er open weight, så I kan hente den og teste i dag. Men den er stor, kun til optaget lyd og uden et dansk tal at læne sig op ad. Det gør den til et godt valg til et afgrænset forsøg, ikke til en forhastet udrulning. Vi har før beskrevet, hvordan man kører en Nemotron-model lokalt på en Mac, og den samme logik gælder her: start i det små, mål selv.
Det kan I gøre nu:
Nemotron 3.5 Transcribe er hverken den mest præcise transskription på markedet eller den mindste. Det, der gør den interessant for en dansk virksomhed, er kombinationen: god nok præcision, taleradskillelse i samme model og en licens, der lader jer køre det hele på eget jern. I et år hvor de stærkeste modeller enten er lukkede eller venter på EU, er en frontier-nær model, I faktisk må bruge i dag, en sjælden ting. Prisen er, at I selv skal stå for hardwaren og for, at optagelserne behandles lovligt. Det er en afvejning, ikke en gratis gevinst.