Één student, vele docenten: Multi-task on-policy distillatie via soft-prompt geprivilegieerde context

Gepubliceerd 22 July 2026

In dit onderzoek wordt een nieuwe methode voor on-policy zelfdistillatie (OPSD) gepresenteerd, waarbij een docent met een leerbare soft prompt de student begeleidt. Deze aanpak voorkomt problemen zoals drift en vergetelheid die optreden bij traditionele methoden. De methode stelt een enkele student in staat om kennis van meerdere docenten tegelijkertijd op te nemen, wat leidt tot verbeterde prestaties op verschillende taken zonder dat er veel parameters hoeven te worden getraind. De resultaten tonen aan dat deze aanpak zowel de prestaties van de student kan verbeteren als de algemene capaciteiten kan behouden.