Newest papers

Foreword: Pre-Generation Prediction and Characterisation of LLM Test Failures using the Jacobian Lens

Somin Kim, Robert Feldt, Shin Yoo · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28187 · open-access PDF

German

Das Testen von LLM-basierter Software ist teuer: Jede Eingabe benötigt mehrere Sampled-Antworten, die jeweils nach einem teuren Oracle beurteilt werden. Darüber hinaus fordert jede Anfrage oder Modelländerung eine Neustestung. Vorgenerations-Angemessenheitsmaßnahmen senken diese Kosten, indem sie Eingänge nach dem Misserfolgrisiko rangieren, basierend auf dem internen Zustand des Modells. Jedoch, der Stand der Kunst, Clotho, Modelle nur Referenz-Eingänge passieren, und seine versteckte Zustandsvertretung sagt nichts darüber, warum Eingänge scheitern. Wir präsentieren Foreword, ein Rahmenwerk, das auf zwei Ideen gebaut ist: Lernen Sie von sowohl passenden als auch fehlenden Referenzen und repräsentieren Sie Eingänge durch die Jacobian-Lens

Machine translation (Meta M2M100); the English original follows.

Abstract

Testing LLM-based software is expensive: each input needs several sampled responses, each judged by a costly oracle. Further, every prompt or model change calls for re-testing. Pre-generation adequacy measures cut this cost by ranking inputs by failure risk based on the model's internal state. However, the state of the art, Clotho, models only passing reference inputs, and its hidden-state representation says nothing about why inputs fail. We present Foreword, a framework built on two ideas: learn from both passing and failing references, and represent inputs through the Jacobian lens (J-lens)

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange