Exact distribution of the output of a deep-layered machine
📄 arXiv:2606.11965 · 📥 PDF · 2026-06-10 · nlin.CG
Authors: Thomas M. A. Fink [arXiv · scholar]
🕰 Orloj analysis
Paper odvozuje přesnou distribuci výstupu hlubokých vrstvených strojů s šířkou $k$ a hloubkou $n$, které tvoří základ hlubokého učení a digitální komputace. Ukazuje, že distribuce závisí na Hammingově váze a s rostoucí hloubkou $n$ upřednostňuje funkce s nízkou a vysokou Hammingovou váhou, přičemž tento jev vrcholí při hloubce úměrné $2^k$ a poté kolabuje na konstantní funkce.
💡 Práce přináší originální exaktní odvození distribuce výstupu hlubokých strojů, což má potenciální hodnotu pro teoretické základy hlubokého učení a digitální komputace.
✓ falsifiable_conclusions, limit_reductions, modest_claims
⚠ no_empirical_validation_mentioned
📄 Abstract
Deep-layered machines, in which each node computes a Boolean function of all nodes below it, underpin deep learning and digital computation. Yet the statistics of their global output function remain poorly understood. We derive the exact finite-depth distribution of the output of a machine with width $k$ and depth $n$. The distribution depends only on the Hamming weight of the output, and as $n$ increases favors functions with low and high Hamming weights. But this bias peaks at a crossover depth proportional to $2^k$ before collapsing onto the constant functions true and false.