Newest papers

Uncovering Audio-Text Alignment in Large Audio-Language Models through Cross-Modal Concept Neurons

Tzu-Quan Lin, Chih-Kai Yang, Yi-Cheng Lin, Hao Tang, Hung-yi Lee · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.28189 · cited by 0 works (OpenAlex) · open-access PDF

Korean

언어 모델의 척추는 텍스트에만 전공되지만, 대형 오디오 언어 모델 (LALMs)는 감정, 스피커 성별 및 말한 언어와 같은 음성 특성을 크게 인식 할 수 있습니다. 그러나, 오디오 표현이 어떻게 통합되는지는 명확하지 않으며, 모델이 텍스트를 생성하기 전에 다른 텍스트 표현과 통합됩니다. 우리는 오디오 및 텍스트 표현이 일치하는 공유 하위 공간이 있다고 가정합니다. 이 가설을 테스트하기 위해 우리는 오디오와 텍스트를 모두 대표하는 책임이있는 교차 모형 신경을 식별합니다. 우리는 오디오와 텍스트 신경 사이의 조정을 3 개의 LALM과 4 개의 음성 특성 유형을 통해 다양한 정도로 발견합니다. 원인 개입, 신경을 제어

Machine translation (Meta M2M100); the English original follows.

Abstract

While the language model backbone is pretrained on text alone, large audio-language models (LALMs) can, to a great extent, recognize acoustic attributes, such as emotion, speaker gender, and spoken language. However, it is unclear how the audio representation is integrated, if at all, with the other text representation before the model produces text. We hypothesize that there is a shared subspace where the audio and text representations are aligned. To test this hypothesis, we identify cross-modal neurons that are responsible for representing both audio and text. We find alignment between audio and text neurons to various degrees across three LALMs and four acoustic attribute types. Causal interventions, steering and deactivating the neurons, confirm that the cross-modal neurons are not just necessary for prediction but can also be manipulated.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Representation (politics), Speech recognition, Subspace topology, Natural language processing, Artificial intelligence

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange