Latency i erhvervslivet: hvor det gør ondt
I kundevendte applikationer er latency direkte forbundet med brugeroplevelse og konvertering. En AI-chatbot, der bruger fem sekunder på at svare, mister brugerens opmærksomhed. En produktanbefalingsmotor, der ikke leverer resultater inden siden er loadet, bliver aldrig vist. Realtids-fraud detection, der ikke kan vurdere en transaktion inden timeout, lader potentielt svindel passere.
I interne processer har latency en produktivitetskostnad. Når hundredvis af medarbejdere dagligt interagerer med AI-assistenter til søgning i dokumenter, generering af rapporter eller besvarelse af kundehenvendelser, akkumulerer selv små forsinkelser sig til timer af tabt produktivitet. For virksomheder, der skalerer Agentic AI-systemer, hvor AI-agenter kalder hinanden i kæder, multipliceres latency med antallet af agentinteraktioner.
Latency påvirker også, hvilke use cases der overhovedet er mulige. Realtidsanalyse af videofeeds, stemmestyrede interfaces, autonome køretøjer og industriel procesoptimering kræver sub-100 ms responstider. Virksomheder med høj latency er afskåret fra disse højværdi-scenarier.
Derudover har latency en direkte omkostningsdimension. Længere inference-tider betyder længere GPU-belastning per forespørgsel, hvilket øger infrastrukturomkostningerne. Optimeret latency giver typisk 5-10x bedre pris-ydelse-forhold.
Hvad latency ikke er
Latency forveksles ofte med throughput, men de to begreber måler forskellige ting. Latency er den tid, en enkelt forespørgsel tager fra start til slut. Throughput er antallet af forespørgsler, et system kan håndtere per sekund. Et system kan have høj throughput og samtidig høj latency, f.eks. ved batch-processing, hvor mange forespørgsler behandles parallelt, men hver enkelt venter længe på at komme igennem.
Latency er heller ikke det samme som oppetid eller tilgængelighed. Et system kan være tilgængeligt 99,99 % af tiden og stadig have uacceptabel latency. Ligeledes er lav latency ikke en garanti for kvalitet: en model kan svare hurtigt men upræcist. Den rette balance mellem svartid og svarkvalitet er en central designbeslutning.
Det er også vigtigt at skelne mellem faktisk latency og oplevet latency. Teknikker som streaming, hvor modellen sender output token for token, reducerer ikke den samlede svartid, men giver brugeren en oplevelse af øjeblikkelig respons. Mange moderne AI-applikationer bruger denne tilgang til at forbedre brugeroplevelsen uden nødvendigvis at reducere den tekniske latency.
