Hvad er Mixture of Experts (MoE)?

Hvordan virker Mixture of Experts?

En traditionel AI-model, ofte kaldet en "tæt" (dense) model, aktiverer alle sine parametre for hvert eneste input. Tænk på det som en virksomhed, hvor alle medarbejdere arbejder på hver eneste opgave, uanset deres speciale. Det er ineffektivt.

MoE tager en anden tilgang. Modellen består af mange separate ekspert-netværk, typisk 8 til 256 stykker, plus en gating-mekanisme (også kaldet en router), der for hvert input beslutter, hvilke 1-2 eksperter der skal aktiveres. Resten forbliver inaktive. Det svarer til at sende hver opgave til præcis de specialister, der er bedst egnede til at løse den.

Den praktiske konsekvens er, at en MoE-model kan have hundredvis af milliarder parametre i alt, men kun bruge en brøkdel af dem per forespørgsel. En model med 600 milliarder parametre kan eksempelvis kun aktivere 50 milliarder ad gangen. Det giver kapaciteten fra en meget stor model til beregningsprisen af en langt mindre.

Routeren trænes samtidig med eksperterne og lærer automatisk at fordele inputs hensigtsmæssigt. Det kræver omhyggelig balancering, så ikke alle forespørgsler ender hos de samme få eksperter, men moderne MoE-implementeringer har løst denne udfordring effektivt.

Consile hjælper virksomheder med at navigere valget mellem AI-modelarkitekturer som MoE og dense-modeller. Kontakt os for en uforpligtende samtale om, hvilken tilgang der passer til jeres behov.

MoE i erhvervslivet: Pris, hastighed og skalering

For virksomheder, der anvender AI, har MoE-arkitekturen tre konkrete fordele. Den første er lavere omkostninger. Fordi kun en delmængde af modellen aktiveres per forespørgsel, er inferensomkostningerne markant lavere end for en tilsvarende tæt model. Branchen estimerer, at MoE kan reducere token-prisen med op til 90% sammenlignet med dense-modeller af samme intelligens.

Den anden fordel er hastighed. Færre aktive parametre betyder hurtigere svartider. For applikationer som Conversational AI, kundesupport-chatbots eller realtidsanalyse er det afgørende. Brugerne oplever kortere ventetid, og systemerne kan håndtere flere samtidige forespørgsler.

Den tredje fordel er skalerbarhed. MoE-modeller egner sig til distribueret infrastruktur, hvor forskellige eksperter kan placeres på forskellige servere. Det betyder, at virksomheder kan skalere deres AI-kapacitet horisontalt uden at ramme de samme flaskehalse som med monolitiske modeller.

Disse fordele forklarer, hvorfor stort set alle foundation models i dag bruger MoE. Når din virksomhed anvender GPT-4, Gemini eller en open source-model som DeepSeek-R1, bruger I allerede MoE, om I ved det eller ej.

Hvad Mixture of Experts ikke er

En udbredt misforståelse er, at hver ekspert i en MoE-model er specialist i et bestemt fagområde, f.eks. at én ekspert håndterer jura og en anden håndterer kode. Sådan fungerer det ikke. Eksperterne specialiserer sig på et langt mere granulært niveau og håndterer bestemte token-mønstre i bestemte kontekster. Specialiseringen sker i et højdimensionelt rum, der ikke afspejler menneskelige kategorier.

MoE er heller ikke det samme som et multi-agent system, hvor flere selvstændige AI-systemer samarbejder. I MoE er eksperterne dele af én samlet model, der trænes og kører som et integreret hele. Det er en intern arkitekturbeslutning, ikke et system af uafhængige agenter.

Endelig er MoE ikke gratis trods de lavere beregningsomkostninger. Modellerne kræver mere hukommelse (RAM/VRAM), fordi alle parametre skal være tilgængelige, selv når kun få er aktive. Det stiller krav til infrastrukturen, særligt for virksomheder der vil køre MoE-modeller on-premise.