Newest papers

Text-to-Image Generative Modeling Without Language Pretraining

Keshigeyan Chandrasegaran, Yue Zhao, Armin W. Thomas, Ehsan Adeli, Jiajun Wu, Juan Carlos Niebles, Li Fei-Fei, Michael Poli · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.26863 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Hệ thống văn bản-to-hình ảnh hiện đại (T2I) sử dụng ngôn ngữ chuẩn bị quy mô internet để tạo hình ảnh có điều kiện văn bản. Chúng tôi hỏi liệu việc chuẩn bị ngôn ngữ có cần thiết cho thế hệ T2I mạnh mẽ không. Chúng tôi giới thiệu Halcyon, một gia đình các mô hình đa phương thức tự động tái tạo sớm được đào tạo hoàn toàn từ đầu trên GPIC, một tập dữ liệu của 100M cặp hình ảnh-hình. Halcyon-0.52B vượt LlamaGen-XL/8 (48.0 so với 63.3 gFD) với 18.2$\times$ ít tính toán trước khi đào tạo. Hơn nữa, Halcyon-1.6B vượt JiT-T2I-XXL/8++ (35.3 so với 41.0F gD) với 275$\times ít tính toán trước khi đào tạo. Các thí nghiệm kiểm soát cho

Machine translation (Meta M2M100); the English original follows.

Abstract

Modern text-to-image (T2I) systems use internet-scale language pretraining for text-conditioned image generation. We ask whether language pretraining is necessary for strong T2I generation. We introduce Halcyon, a family of early-fusion multimodal autoregressive models pretrained entirely from scratch on GPIC, a dataset of 100M image-text pairs. Halcyon-0.52B outperforms LlamaGen-XL/8 (48.0 vs. 63.3 gFD) with 18.2$\times$ less pretraining compute. Further, Halcyon-1.6B outperforms JiT-T2I-XXL/8++ (35.3 vs. 41.0 gFD) with 275$\times$ less pretraining compute. Controlled experiments show that text-only pretraining does not improve T2I generation. Halcyon also learns image captioning by replacing caption dropout with I2T supervision, maintaining competitive T2I generation quality under the same pretraining budget. We show that strong T2I systems can be trained from scratch without internet-scale language pretraining. Code and models are available at https://cs.stanford.edu/~keshik/halcyon

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Closed captioning, Computer science, Artificial intelligence, Scratch, Natural language processing, Language model

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange