Leren in Gebogen Gewichtsruimte: Exponentieel-Lineaire Gewichtsherparameterisatie voor Verbeterde Optimalisatie

Gepubliceerd 14 July 2026

Dit onderzoek introduceert een nieuwe gewichtsherparameterisatie voor neurale netwerken, die een symmetrisch-exponentieel pad combineert met een lineair pad. Deze aanpak verbetert de optimalisatie door het creëren van een gebogen parameter-ruimte geometrie, wat leidt tot snellere afname van verlies in vergelijking met standaard lineaire parameterisatie. De methode, getest op transformers met verschillende configuraties, toont aan dat het aantal benodigde trainingsstappen voor het bereiken van een vergelijkbaar validatieverlies met 1.32 tot 1.49 keer kan worden verminderd. Dit onderzoek benadrukt ook een nuttige mismatch in initialisatie die de vroege optimalisatie kan verbeteren.