Newest papers

Two hidden layer suffice: the caterpillar net

Jakob Paul Zimmermann · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.26795 · cited by 0 works (OpenAlex) · open-access PDF

Russian

Каждая непрерывная фрагментарная линейная (CPWL) функция является конечным подписанным суммой максимумов аффинных функций, что делает максимальное представление центральной проблемой в изучении выразительности сетей ReLU. Теперь опровергнутая догадка предсказывала логарифмическую глубину для максимумов. Вдохновленный доказательством Brunck et al. (2026) о том, что двух скрытых слоев достаточно для общих функций CPWL, мы даем Caterpillar Net, не рекурсивную конструкцию для максимума $N$ входов с двумя скрытыми слоями ширины $O(N^2)$ и $2^O(N\Nlog)$. Конструкция имеет прямую геометрическую интерпретацию.

Machine translation (Meta M2M100); the English original follows.

Abstract

Every continuous piecewise linear (CPWL) function is a finite signed sum of maxima of affine functions, making maximum representation a central problem in the study of the expressiveness of ReLU networks. A now-disproved conjecture predicted logarithmic depth for maxima. Inspired by the proof by Brunck et al. (2026) that two hidden layers suffice for general CPWL functions, we give the Caterpillar Net, a nonrecursive construction for the maximum of $N$ inputs with two hidden layers of widths $O(N^2)$ and $2^{O(N\log N)}$. The construction has a direct geometric interpretation.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Mathematics, Conjecture, Logarithm, Maxima, Affine transformation, Piecewise

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange