Newest papers

The Instruction Tax on Factual Recall: Base Models Can Beat Their Instruction-Tuned Counterparts

Christophe Khalil, Aya Mourad · 2026 · HAL (Le Centre pour la Communication Scientifique Directe)

DOI: 10.48550/arxiv.2610.28407 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Chúng tôi trình bày giải pháp của chúng tôi cho AKBC LM-KBC 2026 Shared Task, nơi chúng tôi đạt được điểm 0.6836 trên bảng xếp hạng chính thức, nhiều hơn gấp đôi so với điểm khởi đầu của 0.2964. Nhiệm vụ này đòi hỏi phải tạo ra tất cả các đối tượng có thể cho các cặp mối quan hệ đối tượng bằng cách sử dụng một mô hình ngôn ngữ với tối đa 32 tỷ tham số, không có thu thập hoặc điều chỉnh chi tiết liên quan. Chúng tôi cho thấy rằng phương pháp nhắc nhở cũng quan trọng như kiến trúc mô hình: trong khi phiên bản mô hình được điều chỉnh theo hướng dẫn đạt 0.5681 với giao diện trò chuyện của nó, mô hình cơ bản đạt 0.6836 khi được nhắc nhở bằng cách sử dụng kết thúc văn bản. Do đó, điều chỉnh hướng dẫn làm giảm sự nhắc nhở thực tế; chúng tôi đề cập đến hiệu ứng

Machine translation (Meta M2M100); the English original follows.

Abstract

We present our solution to the AKBC LM-KBC 2026 Shared Task, where we achieved a score of 0.6836 on the official leaderboard, more than double the baseline of 0.2964. This task requires generating all possible objects for subject-relation pairs using a language model with up to 32 billion parameters, with no retrieval or fine-tuning involved. We show that the prompting methodology is as important as the model architecture: while the instruction-tuned model version achieves 0.5681 with its chat interface, the base model achieves 0.6836 when prompted using text completion. Thus, instruction tuning decreases factual recall; we refer to this effect as the instruction tax, which is caused by the model's weights rather than the prompting method. Our final solution is fairly straightforward: we prompt the base model with some examples from the training data, generate 64--256 outputs, and retain only the repeated ones. Two specialized methods are then applied for each relation: one improves the recall of large answer sets, and the other verifies a person's vitality before predicting their place of death.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Base (topology), Computer science, Recall, Task (project management), Natural language processing, Arithmetic

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange