Jakob Paul Zimmermann · 2026 · arXiv (Cornell University)
DOI: 10.48550/arxiv.2610.26795 · cited by 0 works (OpenAlex) · open-access PDF
Chaque fonction linéaire partielle continue (CPWL) est une somme signée finie des maximas des fonctions affines, faisant de la représentation maximale un problème central dans l'étude de l'expressionnalité des réseaux ReLU. Une conjecture désormais défiée prédit la profondeur logarithmique pour les maximas. Inspirée par la preuve de Brunck et al. (2026) que deux couches cachées suffisent pour les fonctions CPWL générales, nous donnons le Net Caterpillar, une construction non recursive pour le maximum des entrées de $N$ avec deux couches cachées de largeurs $O(N^2)$ et $2^O(N\Nlog)$. La construction a une interprétation géométrique directe.
Machine translation (Meta M2M100); the English original follows.
Every continuous piecewise linear (CPWL) function is a finite signed sum of maxima of affine functions, making maximum representation a central problem in the study of the expressiveness of ReLU networks. A now-disproved conjecture predicted logarithmic depth for maxima. Inspired by the proof by Brunck et al. (2026) that two hidden layers suffice for general CPWL functions, we give the Caterpillar Net, a nonrecursive construction for the maximum of $N$ inputs with two hidden layers of widths $O(N^2)$ and $2^{O(N\log N)}$. The construction has a direct geometric interpretation.
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
Topics: Mathematics, Conjecture, Logarithm, Maxima, Affine transformation, Piecewise
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.26795, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange