Newest papers

Beyond the Prompt: Recovering Hidden Concepts in Text-to-Image Models

Zhengfeng Zheng, Minghong Fang · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.27473 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Mô hình văn bản đến hình ảnh có thể tạo ra các khái niệm thị giác mà lời nhắc của họ không bao giờ đề cập, và công việc gần đây cho thấy rằng các liên kết như vậy có thể được cấy ghép để các lời nhắc thông thường kích hoạt chúng. Kiểm tra hành vi này đòi hỏi phải phục hồi mô tả mà một lời nhắc bỏ qua. Các nhà tối ưu hóa lời nhắc hiện tại không phù hợp với nhiệm vụ này. Các phương pháp dựa trên Gradient đòi hỏi truy cập ngược vào bộ mã hóa điểm số. Tìm kiếm tiến hóa phân biệt đối xử với các mã thông báo không liên quan đến ngữ nghĩa như là gần gũi. Tìm kiếm theo mô hình ngôn ngữ đòi hỏi một cuộc gọi kết luận cho mỗi ứng cử viên, điều này giới hạn việc khám phá. Bài báo này trình bày EmbGA, một thuật toán di truyền dựa trên không gian nhúng, yêu cầu các khái niệm

Machine translation (Meta M2M100); the English original follows.

Abstract

Text-to-image models can generate visual concepts that their prompts never mention, and recent work shows that such associations can be implanted so that ordinary prompts trigger them. Auditing this behavior requires recovering the description that a prompt omits. Existing prompt optimizers are not well suited to this task. Gradient-based methods require backward access to the scoring encoder. Discrete evolutionary search treats semantically unrelated tokens as equally close. Language-model-guided search requires one inference call per candidate, which limits exploration. This paper presents EmbGA, an embedding-space genetic algorithm that recovers concepts present in a set of images but absent from the prompt that generated them. EmbGA keeps the population structure of genetic search but applies its operators in the token embedding space. Crossover interpolates between parent embeddings, and mutation moves an embedding toward a randomly drawn vocabulary embedding. Each offspring is then projected back to discrete tokens before scoring, so every evaluated candidate is a valid token sequence. We evaluate EmbGA on two benchmarks against six optimizers under two exploration budgets. EmbGA achieves the highest alignment when the exploration budget is large, recovers the most grounded tokens on natural images, and runs much faster than language-model-guided search.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Set (abstract data type), Security token, Crossover, Population, Embedding

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange