Keshigeyan Chandrasegaran, Yue Zhao, Armin W. Thomas, Ehsan Adeli, Jiajun Wu, Juan Carlos Niebles, Li Fei-Fei, Michael Poli · 2026 · arXiv
DOI: 10.48550/arXiv.2610.26863 · open-access PDF
現代のテキスト対画像(T2I)システムは、テキスト条件付き画像生成のためのインターネット規模の言語プレトレーニングを使用しています。我々は、強力なT2I生成のために言語プレトレーニングが必要かどうかを尋ねます。我々は、初期合併の多様な自動復帰モデルのファミリーであるHalcyonを紹介し、完全にゼロからGPICでプレトレーニングし、100Mの画像テキストカップルのデータセットです。Halcyon-0.52BはLlamaGen-XL/8 (48.0 vs. 63.3 gFD)を182$\times$未満のプレトレーニングコンピュータで上回ります。さらに、Halcyon-1.6BはJiT-T2I-XXL/8++ (35.3 vs. 4
Machine translation (Meta M2M100); the English original follows.
Modern text-to-image (T2I) systems use internet-scale language pretraining for text-conditioned image generation. We ask whether language pretraining is necessary for strong T2I generation. We introduce Halcyon, a family of early-fusion multimodal autoregressive models pretrained entirely from scratch on GPIC, a dataset of 100M image-text pairs. Halcyon-0.52B outperforms LlamaGen-XL/8 (48.0 vs. 63.3 gFD) with 18.2$\times$ less pretraining compute. Further, Halcyon-1.6B outperforms JiT-T2I-XXL/8++ (35.3 vs. 41.0 gFD) with 275$\times$ less pretraining compute. Controlled experiments show that te
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.26863, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange