Newest papers

From Outcomes to Components: A Counterfactual Evaluation Framework for LLM-Proposed Repairs

Hengyu Ye, Songhua Hu · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.26650 · cited by 0 works (OpenAlex) · open-access PDF

Russian

Действие по исправлению, генерируемое LLM, определяет, какие записи следует менять и насколько. Неудачное действие может по-прежнему содержать полезный целевой набор или численное обновление, в зависимости от того, как эти два пара. Мы оцениваем эту проблему в сетях трафика и базах данных, где совокупные наблюдения скрывают записи, которые нуждаются в исправлении. Мы изучаем пары, выполняя каждую комбинацию с одного и того же исходного состояния, используя справочное действие, которое восстанавливает затрагиваемые записи. В 76 из 114 действий трафика выгода от исправления обеих частей превышает сумму выгод от исправления каждой части. Шесть из этих действий ухудшаются после каждой исправления, но улучшаются, когда обе части исправляются. В базе данных

Machine translation (Meta M2M100); the English original follows.

Abstract

An LLM-generated repair action specifies which records to change and by how much. A failed action may still contain a useful target set or numerical update, depending on how the two are paired. We evaluate this problem in traffic networks and databases, where aggregate observations obscure the records that need correction. We examine the pairings by executing each combination from the same initial state, using a reference action that restores the affected records. In 76 of 114 traffic actions, the gain from correcting both parts exceeds the sum of the gains from correcting each part alone. Six of these actions become worse after either correction alone, but improve when both parts are corrected. In database repair, replacing only the proposed update with the reference update worsens 17 of 108 model actions, all of which select unaffected records. We also test whether parts of two proposals can be reused. On held-out observations, selecting among the proposals and their recombined target-update pairs recovers 61.6% of the reference action's loss reduction, compared with 58.0% from selecting between the proposals alone.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Counterfactual thinking, Set (abstract data type), Aggregate (composite), Action (physics), Computer science, Aggregate data

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange