De Stille Bevriezing: Voorspellen wanneer training met lage precisie stopt met leren

Gepubliceerd 14 July 2026

Onderzoek toont aan dat training met verminderde floating-point precisie kan leiden tot een stille stop van het leerproces. Wanneer een gewicht-update onder een bepaalde drempel valt, bevriest die coördinaat terwijl de gradient nog steeds niet nul is. Dit fenomeen is voorspelbaar op basis van een hoge precisie traject en de doelmantisse lengte, zonder dat er gegevens van lage precisie nodig zijn. Experimenten met een GPT-model en een 124-miljoen-parameter GPT-2 transformer bevestigen deze bevindingen. Stochastische afronding kan de bevriezing verhelpen, wat ook voorspelbaar is vanuit een referentie in hoge precisie.