Newest papers

Beyond the Prompt: Recovering Hidden Concepts in Text-to-Image Models

Zhengfeng Zheng, Minghong Fang · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.27473 · cited by 0 works (OpenAlex) · open-access PDF

Russian

Модели с текстом к изображению могут генерировать визуальные концепции, о которых их просьбы никогда не упоминаются, и недавняя работа показывает, что такие ассоциации могут быть имплантированы таким образом, чтобы обычные просьбы вызвали их. Аудирование этого поведения требует восстановления описания, которое проспект пропускает. Существующие оптимизаторы проспекта не хорошо подходят для этой задачи. Методы на основе градиента требуют обратного доступа к индексирующему коду. Дискретный эволюционный поиск рассматривает семантически несвязанные токены как одинаково близкие. Поиск с языковой моделью требует одного выводного вызова на кандидата, что ограничивает исследование. Эта статья представляет EmbGA, генетический алгоритм встраи

Machine translation (Meta M2M100); the English original follows.

Abstract

Text-to-image models can generate visual concepts that their prompts never mention, and recent work shows that such associations can be implanted so that ordinary prompts trigger them. Auditing this behavior requires recovering the description that a prompt omits. Existing prompt optimizers are not well suited to this task. Gradient-based methods require backward access to the scoring encoder. Discrete evolutionary search treats semantically unrelated tokens as equally close. Language-model-guided search requires one inference call per candidate, which limits exploration. This paper presents EmbGA, an embedding-space genetic algorithm that recovers concepts present in a set of images but absent from the prompt that generated them. EmbGA keeps the population structure of genetic search but applies its operators in the token embedding space. Crossover interpolates between parent embeddings, and mutation moves an embedding toward a randomly drawn vocabulary embedding. Each offspring is then projected back to discrete tokens before scoring, so every evaluated candidate is a valid token sequence. We evaluate EmbGA on two benchmarks against six optimizers under two exploration budgets. EmbGA achieves the highest alignment when the exploration budget is large, recovers the most grounded tokens on natural images, and runs much faster than language-model-guided search.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Set (abstract data type), Security token, Crossover, Population, Embedding

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange