Newest papers

GenOlympiad: Benchmarking Frontier Image Models at Their Capability Boundaries

Xi Hu, Martin Bell, Liang Nathan Zheng · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.26850 · cited by 0 works (OpenAlex) · open-access PDF

Russian

Код-на-изображение модели сделали огромный прогресс и могут производить высококачественные изображения. Тем не менее, вопрос, который был бы спрошен в любой другой дисциплине, где граничные модели падают коротко. Мы вводим GenOlympiad, ориентир, который обеспечивает самые сложные текстовые запросы из девяти осей возможностей для стресс-тестирования граничных текстов-на-изображения моделей. Оцениваемые возможности включают генерирование больших количеств, выполнение глубоких рассуждений, обеспечение жесткой физической консистенции, соблюдение сложных правил и т. Д. Попросы разработаны таким образом, чтобы запрос-на-изображение было визуально проверяемым (например, подсчет) вместо того, чтобы полагаться на субъективность (

Machine translation (Meta M2M100); the English original follows.

Abstract

Text-to-image models have made tremendous progress and can produce high-quality images. However, a question which would be asked in any other discipline is where the frontier models fall short. We introduce GenOlympiad, a benchmark which provides the most challenging text prompts from nine capability axes for stress-testing frontier text-to-image models. The assessed capabilities include generating large quantities, performing deep reasoning, ensuring hard physical consistency, following complex rules and so on. The prompts are designed such that prompt alignment is visually verifiable (e.g., counting) instead of relying on subjectiveness (e.g., style). Based on this, we develop an automated evaluation framework which decomposes the prompt into easy and hard questions, and for most hard questions, draws help lines to ground evidence for accurate grading. We evaluate 20+ strong text-to-image models, including Nano Banana Pro, GPT-Image-2.5, Seedream-5.0 and so on. We report that even the best-performing T2I model (Nano Banana Pro) only achieves a strict score of 23.9 out of 100 and that coding models such as GPT-6 Astra have higher prompt alignment scores (but not as visually pleasing). We also derive insights in model evolution, alignment with Elo scores, and effectiveness of our grounding-based evaluation protocol. Code is available at https://github.com/GenOlympiad/GenOlympiad and the project page is at https://genolympiad.github.io/

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Benchmarking, Computer science, Benchmark (surveying), Code (set theory), Coding (social sciences), Verifiable secret sharing

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange