It's Much Easier for Neural Networks to learn Game of Life Dynamics with the Right Activation Function: Polynomial Kolmogorov-Arnold Networks

🕰 Orloj analysis

Tato práce zkoumá, jak různé aktivační funkce ovlivňují schopnost neuronových sítí učit se dynamiku Conwayovy Hry života, a zjišťuje, že polynomiální aktivační funkce 2. stupně výrazně překonávají standardní ReLU, a to i u minimálních sítí. Výsledky zdůrazňují význam vhodných induktivních předpojatostí pro efektivní učení a zpochybňují automatickou volbu škálování pro všechny problémy.

💡 Práce přináší cenný pohled na význam induktivních předpojatostí v ML pro systémy s fyzikálními pravidly, což má potenciál pro efektivnější a interpretovatelnější modely.

Categories: INF-4 INF-6 EMG-1 EMG-3 MET-4 MET-5

✓ falsifiable, modest_claims, limit_reductions

⚠ Primární zaměření práce na metodologii strojového učení omezuje přímou aplikovatelnost fyzikálně specifických kontrol konzistence (dimenzionální analýza, zákony zachování) požadovaných rámcem., Abstrakt explicitně nezmiňuje dostupnost kódu, podrobné chybové úsečky nebo předregistraci, což jsou důležité aspekty pro plnou metodologickou transparentnost.

📄 Abstract

Previous work has found a gap between the scale of neural networks that reliably learn Conway's Game of Life, and minimal networks capable of representing the classic cellular automaton with hard-coded parameter values. Viewing neural network learning as a search process suggests a dependence on networks large enough to contain sub-networks with lucky initializations (sometimes known as 'winning tickets') that actually learn the task. In this work, we reorient our perspective from discovering Life rules as a search problem back to a learning problem, and reason that with fitting inductive biases, the problem should be much more amenable to minimal networks. We find that network variants with several alternative activation functions meaningfully outperform the default choice of Rectified Linear Units, and in particular, that a 2nd degree polynomial activation function consistently learns Life dynamics with or without the benefit of learning neural weights. Our results provide an informative demonstration of the benefits of matching learning to the task at hand and challenge the easy default choice of scale for all problems. In particular, we advocate for the use of cellular automata as simple test domains for developing strategies that can benefit machine learning for science, physics-based deep learning, and interpretable machine learning.

📄 arXiv abstract page 📥 PDF