Het verminderen van vroege trainingsinstorting in CTR-modellen

Gepubliceerd 14 July 2026

Diepe neurale modellen voor het voorspellen van klikfrequenties vertonen vaak een scherpe daling in de validatieprestaties na de eerste trainingsperiode, ondanks een voortdurende verbetering van het trainingsverlies. Dit onderzoek analyseert deze instabiliteit met behulp van grote industriële datasets en evalueert praktische strategieën om deze te mitigeren. Het verlagen van de leersnelheid biedt slechts marginale verbeteringen, terwijl het beheersen van de sparsiteit van kenmerken aanzienlijke verbeteringen oplevert. Het verwijderen van sterk sparsiteit kenmerkende elementen en het aggregeren van infrequente waarden stabiliseert de training en verbetert zowel offline evaluatiemetrics als de prestaties van online systemen.