Newest papers

HERD: Harness-Evolving Recursive Distillation for Continual Learning

Xun Sun, Thanh Thi Nguyen, Thuy-Trang Vu · 2026 · arXiv

DOI: 10.48550/arXiv.2610.31401 · open-access PDF

German

Kontinuierliches Lernen erfordert ein Modell, um weiterhin neue Fähigkeiten und Kenntnisse zu erwerben, ohne seine bestehenden Fähigkeiten zu kompromittieren. Parametrische Methoden leiden unter katastrophalem Vergessen und Verlust der Plastizität. Nicht-parametrische Methoden, wie Anrufe, Fähigkeiten und Harnesses, nutzen das Kontextlernen, sind aber durch Kontextlänge und verlorene einfache Textkompression begrenzt. Um ihre ergänzenden Stärken effektiv zu kombinieren, schlagen wir HERD (Harness-Evolving Recursive Destillation) vor, ein hybrides kontinuierliches Lernrahmen, das effizient im Harness lernt und Erfahrungen in kumulativer Form internalisiert.

Machine translation (Meta M2M100); the English original follows.

Abstract

Continual learning requires a model to keep acquiring new skills and knowledge without compromising its existing capabilities. Parametric methods suffer from catastrophic forgetting and loss of plasticity. Non-parametric methods, such as prompts, skills, and harnesses, leverage in-context learning but are limited by context length and lossy plain-text compression. To effectively combine their complementary strengths, we propose HERD (Harness-Evolving Recursive Distillation), a hybrid continual learning framework that learns efficiently in the harness and internalizes experience into cumulative

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange