Newest papers

Forty Questions: Identifying a Language Model from One-Word Answers

Tapan Parikh · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28281 · open-access PDF

Russian

Модель, лежащая за API, может быть идентифицирована по ее ответам на одни слова на повседневные вопросы, такие как «Назови звук» или «Назови поэта». Профиль модели записывает, как часто она дает каждый ответ на каждый вопрос. Мы приписываем новые ответы модели, которая, скорее всего, дала их. На панели из 94 моделей, 40 ответов идентифицируют точную модель 92,5% времени, против 1,1% случайно. Профили, построенные через OpenRouter, идентифицировали все десять моделей, обслуживаемых DeepInfra под ослепленными этикетками. Системная просьба снижает точность на 6-16 пунктов. Мы применили метод к 96 конечным точкам из 13 открытых моделей на OpenRouter.

Machine translation (Meta M2M100); the English original follows.

Abstract

A model behind an API can be identified from its one-word answers to everyday questions such as "Name a sound" or "Name a poet". A model's profile records how often it gives each answer to each question. We attribute new answers to the model most likely to have given them. On a panel of 94 models, 40 answers identify the exact model 92.5% of the time, against 1.1% by chance. Profiles built through OpenRouter identified all ten models served by DeepInfra under blinded labels. A system prompt lowers accuracy by 6 to 16 points. We applied the method to 96 endpoints of 13 open models on OpenRouter

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange