Newest papers

The Instruction Tax on Factual Recall: Base Models Can Beat Their Instruction-Tuned Counterparts

Christophe Khalil, Aya Mourad · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28407 · open-access PDF

Russian

Мы представляем наше решение для AKBC LM-KBC 2026 Shared Task, где мы достигли отметки 0.6836 на официальном рейтинге, что более чем в два раза превышает исходную черту 0.2964. Эта задача требует создания всех возможных объектов для паров субъектно-отношений с использованием языковой модели с до 32 миллиардами параметров, без необходимости поиска или тонкого настройки. Мы показываем, что методология прописки так же важна, как и архитектура модели: в то время как версия модели с инструкциями достигает 0.5681 с ее чат-интерфейсом, базовая модель достигает 0.6836 при просьбе с использованием завершения текста.

Machine translation (Meta M2M100); the English original follows.

Abstract

We present our solution to the AKBC LM-KBC 2026 Shared Task, where we achieved a score of 0.6836 on the official leaderboard, more than double the baseline of 0.2964. This task requires generating all possible objects for subject-relation pairs using a language model with up to 32 billion parameters, with no retrieval or fine-tuning involved. We show that the prompting methodology is as important as the model architecture: while the instruction-tuned model version achieves 0.5681 with its chat interface, the base model achieves 0.6836 when prompted using text completion. Thus, instruction tuni

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange