Geloopde Taalmodellen met Adaptieve Exit-State Selectie
Gepubliceerd 14 July 2026
Recent onderzoek naar geloopde taalmodellen toont aan dat veel redeneerproblemen profiteren van grotere rekenkundige diepte in plaats van extra onafhankelijke parameters. Dit onderzoek richt zich op Looped Mamba en Looped Hybrid Mamba-Transformer architecturen, die herhaaldelijk een gedeelde Mamba-blok toepassen voor expliciete eindige diepte in rekencapaciteit. De resultaten tonen aan dat Looped Mamba consistent beter presteert dan niet-geloopde basismodellen met gelijke parameters, en in sommige gevallen zelfs beter presteert dan niet-geloopde modellen met gelijke effectieve diepte. Bovendien verbetert adaptieve exit-state selectie de prestaties bij tussenliggende diepten, hoewel echte besparingen in inferentietijd extra mechanismen vereisen.
Oorspronkelijke bronnen (1)
Deze pagina toont geen volledige brontekst - lees het origineel voor de volledige context.
-
Primaire bron Looped State-Space Language Models with Adaptive Exit-State SelectionLees origineelarXiv - cs.AI (testbron) · 14-07-2026 · ResearchPublication