Newest papers

Foreword: Pre-Generation Prediction and Characterisation of LLM Test Failures using the Jacobian Lens

Somin Kim, Robert Feldt, Shin Yoo · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28187 · open-access PDF

Russian

Тестирование программного обеспечения на основе LLM дорогое: каждый вход нуждается в нескольких выборках ответов, каждый из которых оценивается дорогостоящим оракулом. Кроме того, каждый запрос или изменение модели требует повторного тестирования. Меры адекватности до поколения сокращают эту стоимость путем ранжирования входов по риску неудачи на основе внутреннего состояния модели. Тем не менее, состояние искусства, Клото, модели, проходящие только референтные входы, и его скрытое представление о состоянии не говорит ничего о том, почему входы не удаются. Мы представляем Foreword, рамку, построенную на двух идеях: учиться как от проходящих, так и от неудачных ссылок, и представлять входы через якобийский линз (J-lens)

Machine translation (Meta M2M100); the English original follows.

Abstract

Testing LLM-based software is expensive: each input needs several sampled responses, each judged by a costly oracle. Further, every prompt or model change calls for re-testing. Pre-generation adequacy measures cut this cost by ranking inputs by failure risk based on the model's internal state. However, the state of the art, Clotho, models only passing reference inputs, and its hidden-state representation says nothing about why inputs fail. We present Foreword, a framework built on two ideas: learn from both passing and failing references, and represent inputs through the Jacobian lens (J-lens)

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange