MarkTechPost har beskrevet en pipeline, hvor et teacher-ensemble på 12 modeller træner en mindre student-model. I eksemplet henter student-modellen 53,8 procent af ensemblets nøjagtighedsfordel hjem ved 160× komprimering. Det er interessant, fordi det viser, hvor meget af ensemblets styrke man faktisk kan presse ned i én model, som er langt nemmere at få ud i drift.

Ensembles bruges ofte til komplekse prædiktionsopgaver, fordi flere modeller sammen typisk løfter nøjagtigheden. De reducerer varians og fanger forskellige mønstre. Problemet er mere jordnært: i produktion bliver den slags ofte tunge at leve med på grund af latenstid og operationel kompleksitet.

Hvorfor det er relevant i drift

Knowledge distillation er i sin enkle form, at en stor eller kompleks teacher lærer fra sig til en mindre student. Studenten trænes ikke kun på facitlabels, men også på lærerens sandsynlighedsfordelinger. Det giver mere information end et rent ja eller nej, fordi modellen også ser, hvilke svar der næsten var rigtige.

Når teacheren er et helt ensemble, bliver ideen pludselig ret praktisk. Man kan beholde kompleksiteten i træning og analyse, men nøjes med én mindre model, når noget skal køre rigtigt. Det er tit der, forskellen kan mærkes.

Sådan ser casen ud

I den konkrete case består teacheren af 12 modeller. Derefter laves soft targets med temperature scaling, og så trænes student-modellen via distillation. Vi går ikke ned i ligningerne her. Det afgørende er, at studenten lærer af ensemblets fordelinger og ikke kun af facit.

Temperature scaling bruges altså til at gøre de sandsynligheder, studenten ser, mere brugbare som lærersignal. Selve hovedtallet er stadig det mest interessante: student-modellen genvinder 53,8 procent af ensemblets nøjagtighedsfordel ved 160× komprimering. Det er meget. Men heller ikke alt.

Et godt resultat med en klar begrænsning

Netop tallet 53,8 procent er værd at dvæle ved. 160× komprimering er voldsomt, så det er reelt imponerende, at så stor en del af gevinsten overlever. Omvendt forsvinder også en stor del af ensemblets ekstra styrke undervejs, og det er vigtigt at sige højt.

Det er måske den mest nyttige del af hele casen. Komprimering er ikke gratis. En student-model kan arve meget, men ikke alt, og hvis man læser AI-stof lidt for hurtigt, kan man let få indtryk af det modsatte.

Et gammelt trick, som stadig holder

Knowledge distillation er ikke nogen ny opfindelse. MarkTechPost placerer teknikken i forlængelse af tidligt arbejde med at komprimere store ensembles til enkelte netværk, og det stemmer med det klassiske arbejde fra Hinton, Vinyals og Dean. Problemet er heller ikke nyt. Hvordan beholder man kvaliteten uden at slæbe hele maskinrummet med ud i produktion?

Det er nok også derfor teknikken bliver ved med at dukke op. Den bruges ifølge MarkTechPost bredt i NLP, tale og computer vision. Og nu igen omkring store generative AI-modeller, hvor behovet for mindre og mere deploybare systemer er blevet meget konkret.

Kilder

• How Knowledge Distillation Compresses Ensemble Intelligence into a Single Deployable AI Model
• Distilling the Knowledge in a Neural Network
• A survey on knowledge distillation: Recent advancements
• AI News & Updates
• Skin cancer detection using lightweight model souping and …
• Robust Language Representation Learning via Multi-task … – Microsoft