Newest papers

The Instruction Tax on Factual Recall: Base Models Can Beat Their Instruction-Tuned Counterparts

Christophe Khalil, Aya Mourad · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28407 · open-access PDF

Hindi

हम AKBC LM-KBC 2026 साझा कार्य के लिए हमारे समाधान की पेशकश करते हैं, जहां हम आधिकारिक लीडरबोर्ड पर 0.6836 का स्कोर प्राप्त करते हैं, जो 0.2964 के मूल लाइन से दोगुना से अधिक है। इस कार्य को एक भाषा मॉडल का उपयोग करके विषय संबंध जोड़ों के लिए सभी संभावित वस्तुओं का निर्माण करने की आवश्यकता होती है जिसमें 32 अरब पैरामीटर तक है, जिसमें कोई खोज या फिनिंग शामिल नहीं है। हम दिखाते हैं कि प्रोत्साहन पद्धति मॉडल आर्किटेक्चर के समान महत्वपूर्ण है: जबकि निर्देश-आधारित मॉडल संस्करण अपने चैट इंटरफ़ेस के साथ 0.5681 तक पहुंचता है, बुनियादी मॉडल 0.6836 तक पहुंचता है जब इसे टेक्स्ट समाप्त करने के लिए कहा जाता है।

Machine translation (Meta M2M100); the English original follows.

Abstract

We present our solution to the AKBC LM-KBC 2026 Shared Task, where we achieved a score of 0.6836 on the official leaderboard, more than double the baseline of 0.2964. This task requires generating all possible objects for subject-relation pairs using a language model with up to 32 billion parameters, with no retrieval or fine-tuning involved. We show that the prompting methodology is as important as the model architecture: while the instruction-tuned model version achieves 0.5681 with its chat interface, the base model achieves 0.6836 when prompted using text completion. Thus, instruction tuni

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange