Detectie van distillatie in LLM's op basis van referenties

Gepubliceerd 14 July 2026

Het artikel onderzoekt de detectie van modeldistillatie, waarbij modellen worden getraind op outputs van sterkere modellen. Hoewel het moeilijk is om een leraarmodel van een leerlingmodel te identificeren, wordt dit haalbaar in een referentie-gebaseerde context. De auteurs introduceren een methode voor distillatiedetectie die gebruikmaakt van referentie-gebaseerde lidmaatschapsinferentie. Door de voorkeur van een leerlingmodel voor outputs van verschillende kandidaat-leraars te vergelijken met een referentie-checkpoint, kan het meest waarschijnlijke leraarmodel worden geïdentificeerd. De methode toont veelbelovende resultaten, zelfs in onbekende distillatiepijplijnen.