Jungseob Lee, Seungyoon Lee, Hyeonseok Moon, Seongtae Hong, Suhyune Son, Sugyeong Eo, Minhyuk Kim, Chanjun Park, Jaehyung Seo · 2026 · arXiv (Cornell University)
DOI: 10.48550/arxiv.2610.29727 · cited by 0 works (OpenAlex) · open-access PDF
Các mô hình ngôn ngữ lớn thường trả lời từ kiến thức học được trong quá trình đào tạo, ngay cả khi một thông điệp được cung cấp mâu thuẫn với kiến thức đó. Để giải quyết vấn đề này, giải mã mâu thuẫn tương phản với các dự đoán dưới đầy đủ và một lời nhắc sửa đổi tại mỗi thông điệp, nhưng nó cũng thay đổi các câu trả lời chính xác mà thông điệp hỗ trợ. Chúng tôi cho thấy rằng kiểm tra câu trả lời chống lại thông điệp loại bỏ sự thỏa hiệp này. Dựa trên quan sát này, chúng tôi đề xuất chấp nhận hoặc sửa chữa (AoR), một thủ tục miễn phí đào tạo. AoR giữ một câu trả lời lấy mẫu nếu thông điệp hỗ trợ nó. Nếu không, nó cố gắng đến hai thay thế với giải mã mâu thuẫn, quay trở lại một khi nó vượt qua kiểm tra này. Nó từ chối các thay thế
Machine translation (Meta M2M100); the English original follows.
Large language models often answer from knowledge learned during training, even when a provided passage contradicts that knowledge. To address this problem, contrastive decoding contrasts the predictions under the full and a modified prompt at every token, but it also alters correct answers that the passage supports. We show that checking answers against the passage removes this trade-off. Based on this observation, we propose Accept-or-Repair (AoR), a training-free procedure. AoR keeps a sampled answer if the passage supports it. Otherwise, it tries up to two replacements with contrastive decoding, returning one as soon as it passes this check. It rejects replacements that repeat the answer generated without the passage when the passage favors another answer. Our experiments show that AoR raises the score over sampling by 12.5 points on counterfactual passages and 2.3 on ordinary ones, surpassing eight contrastive and prompting baselines on both, including when each receives the same rejection rule. Replacing only initial answers that the passage does not support improves the average score of every decoder. These results suggest that models can follow passages that contradict their knowledge while preserving accuracy on passages that agree with it. Code will be released at https://github.com/js-lee-AI/AoR.
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
Topics: Counterfactual thinking, Decoding methods, Computer science, Code (set theory), Artificial intelligence, Linguistics
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.29727, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange