Newest papers

Uncovering Audio-Text Alignment in Large Audio-Language Models through Cross-Modal Concept Neurons

Tzu-Quan Lin, Chih-Kai Yang, Yi-Cheng Lin, Hao Tang, Hung-yi Lee · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.28189 · cited by 0 works (OpenAlex) · open-access PDF

French

Alors que la colonne vertébrale du modèle de langue est prétrainée sur le texte seul, les grands modèles audio-langue (LALMs) peuvent, dans une large mesure, reconnaître des attributs acoustiques, tels que l'émotion, le sexe de l'orateur et le langage parlé. Cependant, il n'est pas clair comment la représentation audio est intégrée, si du tout, avec l'autre représentation du texte avant que le modèle produise du texte. Nous hypothétisons qu'il existe un sous-espace partagé où les représentations audio et texte sont alignées. Pour tester cette hypothèse, nous identifions les neurones transmodales qui sont responsables de représenter à la fois l'audio et le texte. Nous trouvons l'alignement entre les neurones audio et

Machine translation (Meta M2M100); the English original follows.

Abstract

While the language model backbone is pretrained on text alone, large audio-language models (LALMs) can, to a great extent, recognize acoustic attributes, such as emotion, speaker gender, and spoken language. However, it is unclear how the audio representation is integrated, if at all, with the other text representation before the model produces text. We hypothesize that there is a shared subspace where the audio and text representations are aligned. To test this hypothesis, we identify cross-modal neurons that are responsible for representing both audio and text. We find alignment between audio and text neurons to various degrees across three LALMs and four acoustic attribute types. Causal interventions, steering and deactivating the neurons, confirm that the cross-modal neurons are not just necessary for prediction but can also be manipulated.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Representation (politics), Speech recognition, Subspace topology, Natural language processing, Artificial intelligence

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange