Newest papers

The Instruction Tax on Factual Recall: Base Models Can Beat Their Instruction-Tuned Counterparts

Christophe Khalil, Aya Mourad · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28407 · open-access PDF

Spanish

Presentamos nuestra solución a la Tareas compartidas AKBC LM-KBC 2026 donde logramos una puntuación de 0.6836 en el tablero oficial, más que el doble de la línea de partida de 0.2964. Esta tarea requiere generar todos los objetos posibles para pares de relación de sujetos utilizando un modelo de lenguaje con hasta 32 mil millones de parámetros, sin necesidad de búsqueda o ajuste. Mostramos que la metodología de prompting es tan importante como la arquitectura del modelo: mientras que la versión del modelo ajustado a instrucciones logra 0.5681 con su interfaz de chat, el modelo base logra 0.6836 cuando se le pide completar el texto.

Machine translation (Meta M2M100); the English original follows.

Abstract

We present our solution to the AKBC LM-KBC 2026 Shared Task, where we achieved a score of 0.6836 on the official leaderboard, more than double the baseline of 0.2964. This task requires generating all possible objects for subject-relation pairs using a language model with up to 32 billion parameters, with no retrieval or fine-tuning involved. We show that the prompting methodology is as important as the model architecture: while the instruction-tuned model version achieves 0.5681 with its chat interface, the base model achieves 0.6836 when prompted using text completion. Thus, instruction tuni

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange