Newest papers

Foreword: Pre-Generation Prediction and Characterisation of LLM Test Failures using the Jacobian Lens

Somin Kim, Robert Feldt, Shin Yoo · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28187 · open-access PDF

Arabic

اختبار البرمجيات القائمة على LLM تكلفة كبيرة: يحتاج كل رسالة إلى عدد من الإجابات المختلطة، كل واحد يحددها بوسائل معينة تكلفة. بالإضافة إلى ذلك، يحتاج كل رسالة أو تغيير نموذج إلى إعادة اختبار. تدابير الكفاءة قبل النموذج تقليل هذا التكلفة من خلال تقييم رسائل من خلال خطر الفشل على أساس حالة الداخلية من النماذج. ومع ذلك، في المستقبل من الفنون، Clotho، النماذج تنتقل فقط من رسائل المقارنة، والقيام بدورها في المستقبل الخفيف لا يقول أي شيء حول سبب الفشل. نحن نقدم Foreword، إطار مبني على فكرة اثنين: تعلم من المراجعات التي تنتهي وتنتهي، وتشكل رسائل من خلال الضوء

Machine translation (Meta M2M100); the English original follows.

Abstract

Testing LLM-based software is expensive: each input needs several sampled responses, each judged by a costly oracle. Further, every prompt or model change calls for re-testing. Pre-generation adequacy measures cut this cost by ranking inputs by failure risk based on the model's internal state. However, the state of the art, Clotho, models only passing reference inputs, and its hidden-state representation says nothing about why inputs fail. We present Foreword, a framework built on two ideas: learn from both passing and failing references, and represent inputs through the Jacobian lens (J-lens)

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange