Herinneren van Distincte Items, Niet Tokens: Een Leerbare Dirichlet-Process Cache Tussen State-Space Modellen en Aandacht

Gepubliceerd 14 July 2026

Dit onderzoek introduceert een nieuwe benadering voor het verbeteren van associatief geheugen in sequentiemodellen door gebruik te maken van een sparse cache. In plaats van elke token op te slaan, wordt alleen ruimte toegewezen voor nieuwe, unieke items, wat de efficiëntie verhoogt. De allocatieregels zijn gebaseerd op DP-means clustering en zijn leerbaar, wat betekent dat het systeem zich kan aanpassen aan de recentheid van nieuwe informatie. De resultaten tonen aan dat deze aanpak de prestaties van volledige aandacht benadert, terwijl het geheugenverbruik aanzienlijk lager is. Dit is bevestigd door experimenten met verschillende datasets, waaronder aanbevelingen en klinische gebeurtenissen.