Newest papers

GenOlympiad: Benchmarking Frontier Image Models at Their Capability Boundaries

Xi Hu, Martin Bell, Liang Nathan Zheng · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.26850 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Các mô hình từ văn bản đến hình ảnh của Eloive đã đạt được những tiến bộ to lớn và có thể tạo ra hình ảnh chất lượng cao. Tuy nhiên, một câu hỏi sẽ được hỏi trong bất kỳ kỷ luật nào khác là nơi các mô hình biên giới giảm ngắn. Chúng tôi giới thiệu GenOlympiad, một tiêu chuẩn chuẩn cung cấp các lời nhắc văn bản đầy thách thức nhất từ chín trục khả năng để kiểm tra các mô hình từ văn bản đến hình ảnh. Các khả năng được đánh giá bao gồm tạo ra số lượng lớn, thực hiện lý luận sâu sắc, đảm bảo tính nhất quán, theo các quy tắc phức tạp, v.v. Các lời nhắc được thiết kế để lời nhắc sắp xếp được xác minh trực quan (ví dụ, đếm) thay vì dựa vào chủ quan (ví dụ, phong cách). Dựa trên điều này, chúng tôi phát triển một khuôn khổ đánh giá tự động phân hủy

Machine translation (Meta M2M100); the English original follows.

Abstract

Text-to-image models have made tremendous progress and can produce high-quality images. However, a question which would be asked in any other discipline is where the frontier models fall short. We introduce GenOlympiad, a benchmark which provides the most challenging text prompts from nine capability axes for stress-testing frontier text-to-image models. The assessed capabilities include generating large quantities, performing deep reasoning, ensuring hard physical consistency, following complex rules and so on. The prompts are designed such that prompt alignment is visually verifiable (e.g., counting) instead of relying on subjectiveness (e.g., style). Based on this, we develop an automated evaluation framework which decomposes the prompt into easy and hard questions, and for most hard questions, draws help lines to ground evidence for accurate grading. We evaluate 20+ strong text-to-image models, including Nano Banana Pro, GPT-Image-2.5, Seedream-5.0 and so on. We report that even the best-performing T2I model (Nano Banana Pro) only achieves a strict score of 23.9 out of 100 and that coding models such as GPT-6 Astra have higher prompt alignment scores (but not as visually pleasing). We also derive insights in model evolution, alignment with Elo scores, and effectiveness of our grounding-based evaluation protocol. Code is available at https://github.com/GenOlympiad/GenOlympiad and the project page is at https://genolympiad.github.io/

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Benchmarking, Computer science, Benchmark (surveying), Code (set theory), Coding (social sciences), Verifiable secret sharing

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange