Jakob Paul Zimmermann · 2026 · arXiv
DOI: 10.48550/arXiv.2610.26795 · open-access PDF
Jede kontinuierliche stückweise lineare (CPWL) Funktion ist eine endliche signierte Summe von Maximen von affinen Funktionen, was die maximale Darstellung zu einem zentralen Problem bei der Untersuchung der Ausdrucksfähigkeit von ReLU-Netzwerken macht. Eine jetzt widerlegte Vermutung prognostizierte die logarithmische Tiefe für die Maximen. Inspiriert vom Beweis von Brunck et al. (2026) dass zwei versteckte Schichten für allgemeine CPWL-Funktionen ausreichen, geben wir das Caterpillar Net, eine nicht rekursive Konstruktion für maximal $N$-Eingänge mit zwei versteckten Schichten der Breiten $O(N^2)$ und $2^O(N\Nlog)$. Die Konstruktion hat eine direkte geometrische Interpretation.
Machine translation (Meta M2M100); the English original follows.
Every continuous piecewise linear (CPWL) function is a finite signed sum of maxima of affine functions, making maximum representation a central problem in the study of the expressiveness of ReLU networks. A now-disproved conjecture predicted logarithmic depth for maxima. Inspired by the proof by Brunck et al. (2026) that two hidden layers suffice for general CPWL functions, we give the Caterpillar Net, a nonrecursive construction for the maximum of $N$ inputs with two hidden layers of widths $O(N^2)$ and $2^{O(N\log N)}$. The construction has a direct geometric interpretation.
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.26795, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange