Path-Measure Dynamics of Attention-Driven World Models: A Nonlocal Onsager--Machlup Approach
📄 arXiv:2607.02154 · 📥 PDF · 2026-07-02 · cond-mat.stat-mech
Authors: Gunn Kim [arXiv · scholar]
🕰 Orloj analysis
Tento článek rozšiřuje teorii Onsager-Machlup na nelokální dynamiku s pamětí vyvolanou pozorností, odvozuje prediktivní míru cesty pro nemarkovovské systémy. Ukazuje, že lokální akce je krátkodobou paměťovou limitou nelokální teorie, odvozenou z projekce skrytého lineárního Markovova rozšíření.
💡 Práce představuje významné teoretické rozšíření Onsager-Machlupovy teorie pro systémy s pamětí, což je cenný příspěvek k pochopení prediktivních modelů v komplexních systémech.
✓ limit_reductions, modest_claims, falsifiable
📄 Abstract
Attention enables a world model to condition on its entire history, providing long-term memory that facilitates long-range predictions. While the local Onsager--Machlup theory in our companion paper assumes a temporally local predictive action, we investigate the conditions under which this locality holds. We derive the predictive path measure for latent dynamics that become non-Markovian due to attention-induced memory, demonstrating that this measure is the projection of a hidden linear Markov augmentation. Eliminating the auxiliary field results in a nonlocal Onsager--Machlup action, where memory manifests as a nonlocal quadratic form rather than a force. These kernels are completely monotone and exactly match a hidden Markov embedding with a finite relaxation spectrum; otherwise, the dynamics remain fundamentally nonlocal. By expanding the action in terms of the scale-separation parameter $ε=τ_{\text{mem}}/τ_{\text{dyn}}$, we show that the leading order recovers the local action of the companion paper, establishing locality as the short-memory limit of a nonlocal theory. We verify the reversible sector of this expansion term by term against an exactly solvable vector linear model.