Newest papers

Foreword: Pre-Generation Prediction and Characterisation of LLM Test Failures using the Jacobian Lens

Somin Kim, Robert Feldt, Shin Yoo · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28187 · open-access PDF

Japanese

LLMベースのソフトウェアのテストは高価です:各入力にはいくつかのサンプル応答が必要で、各々は高価なオラクルによって判断されます。さらに、すべてのプロンプトまたはモデル変更は再テストを要求します。前世代の適切性措置は、モデルの内部状態に基づいて失敗リスクによる入力ランキングによってこのコストを削減します。しかし、芸術の状態、Clotho、参照入力のみを経由するモデル、そしてその隠れた状態の代表は、入力が失敗する理由について何も言いません。我々はForewordを紹介し、2つのアイデアに基づいて構築されたフレームワーク:通過と失敗の両方の参照から学び、ジャコビアンレンズ(J-lens)を通じて入力を

Machine translation (Meta M2M100); the English original follows.

Abstract

Testing LLM-based software is expensive: each input needs several sampled responses, each judged by a costly oracle. Further, every prompt or model change calls for re-testing. Pre-generation adequacy measures cut this cost by ranking inputs by failure risk based on the model's internal state. However, the state of the art, Clotho, models only passing reference inputs, and its hidden-state representation says nothing about why inputs fail. We present Foreword, a framework built on two ideas: learn from both passing and failing references, and represent inputs through the Jacobian lens (J-lens)

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange