How Complexity Contributes to Learning Opacity in Machine Learning
📄 arXiv:2606.24953 · 📥 PDF · 2026-06-23 · nlin.AO
Authors: Joachim Stein [arXiv · scholar] , Eric Raidl [arXiv · scholar]
🕰 Orloj analysis
Článek zkoumá neprůhlednost učení v ML algoritmech, zejména u neuronových sítí, skrze optiku komplexních dynamických systémů. Autoři tvrdí, že neprůhlednost je způsobena dynamickou komplexitou a identifikují tři klíčové vlastnosti přispívající k její potenciální ireducibilitě.
💡 Práce nabízí konceptuální pohled na neprůhlednost učení v ML, ale její přínos k řešení problému je omezený, neboť spíše popisuje než navrhuje ověřitelné mechanismy či řešení.
⚠ Konceptuální povaha bez empirického ověření nebo kvantitativních modelů., Nedostatečné propojení s existujícími snahami o interpretovatelnost ML, které se snaží o snížení opacity.
✗ Nepoužívá fyzikální metodologii pro tvrzení o "ireducibilitě" (např. z fundamentálních principů)., Tvrzení o "ireducibilitě" je obtížně falsifikovatelné v rámci předložené argumentace.
📄 Abstract
Machine learning (ML) algorithms are known to be opaque. We do not know the reasons for their predictions. The learning process leading to the prediction function is also opaque. We do not fully understand the time evolution of the weight values of neural nets (NN) and related dynamical phenomena. While prediction opacity is widely studied, learning opacity remains largely underexplored. This article studies learning opacity trough the lens of complex dynamical systems. We argue that NN learning is essentially a complex system and that learning opacity is due to dynamical complexity and the epistemological challenges that arise from it. We identify three key properties of training complexity -- sensitivity to weight initialization, feedback in gradient based optimization, and sensitivity to the training data -- and show how each contributes to learning opacity. As these properties are fundamental to the learning process damping or eliminating them would fundamentally alter how ML systems learn. Some sources of opacity in ML may hence be irreducible.