Newest papers

Uncovering Audio-Text Alignment in Large Audio-Language Models through Cross-Modal Concept Neurons

Tzu-Quan Lin, Chih-Kai Yang, Yi-Cheng Lin, Hao Tang, Hung-yi Lee · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28189 · open-access PDF

Japanese

言語モデルの背骨はテキストだけにプレトレーニングされているが、大規模なオーディオ言語モデル(LALMs)は、感情、スピーカーの性別、および話した言語などのアコスティック属性を大いに認識することができる。しかし、オーディオ表示が、モデルがテキストを生成する前に、他のテキスト表示とどのように統合されているかは不明である。我々は、オーディオとテキストの表示が一致している共有サブスペースがあると仮定する。この仮説をテストするために、我々はオーディオとテキストの両方を代表する責任があるクロスモダルニューロンを識別する。我々はオーディオとテキストの間の調和を見つける。

Machine translation (Meta M2M100); the English original follows.

Abstract

While the language model backbone is pretrained on text alone, large audio-language models (LALMs) can, to a great extent, recognize acoustic attributes, such as emotion, speaker gender, and spoken language. However, it is unclear how the audio representation is integrated, if at all, with the other text representation before the model produces text. We hypothesize that there is a shared subspace where the audio and text representations are aligned. To test this hypothesis, we identify cross-modal neurons that are responsible for representing both audio and text. We find alignment between audi

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange