Newest papers

Predicting Music Valence and Arousal via Textual and Multimodal In-Context Learning in Large Language Models

Chi-En Dai, Chih-Pin Tan, Yi-Hsuan Yang · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.31202 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Trong khi sự kích thích có thể được dự đoán một cách đáng tin cậy từ âm thanh âm nhạc, sự kích thích cảm xúc vẫn còn khó mô hình hóa do tính chất chủ quan và phụ thuộc vào ngữ cảnh của nó. Trong công việc này, chúng tôi điều tra tiềm năng của việc học trong ngữ cảnh (ICL) với các mô hình ngôn ngữ lớn để thúc đẩy giá trị liên tục và dự đoán kích thích. Thay vì dự đoán kết quả cảm xúc trực tiếp, khuôn khổ của chúng tôi sử dụng các bản trình bày ngữ cảnh từ một bộ dữ liệu phụ trợ để tinh chỉnh các dự đoán ban đầu được tạo ra bởi một mô hình cơ sở nhỏ, cụ thể cho nhiệm vụ. Chúng tôi có hệ thống đánh giá một biến thể ICL dựa trên văn bản bằng cách sử dụng lời bài hát và các tiêu đề âm thanh được tạo ra, cùng với một biến thể đa phương tiện kết hợp các tín hiệu âm thanh thô. Sử

Machine translation (Meta M2M100); the English original follows.

Abstract

While arousal can be reliably predicted from musical audio, emotional valence remains difficult to model due to its subjective and context-dependent nature. In this work, we investigate the potential of in-context learning (ICL) with large language models to advance continuous valence and arousal prediction. Rather than predicting emotion scores directly, our framework leverages contextual demonstrations from an auxiliary dataset to refine the initial predictions produced by a small, task-specific base model. We systematically evaluate a text-based ICL variant using lyrics and generated audio captions, alongside a multimodal variant that incorporates raw audio signals. Using the entire MER60 dataset strictly as a held-out test set, our experiments demonstrate substantial performance gains, particularly for valence. Text-based ICL improves the valence $R^2$ from 0.110 to 0.427 with 80 demonstration shots, while the multimodal variant achieves 0.346 with only 10 shots. These findings suggest that training-free ICL offers an effective inference-time strategy for current language models to predict continuous music emotion.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Valence (chemistry), Arousal, Cognitive psychology, Computer science, Speech recognition, Psychology

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange