Newest papers

From Common Information to Canonical Correlation Analysis and Beyond: Bridging Information Theory, Signal Processing, and Machine Learning

Paris A. Karakasis, Walid Saad · 2026 · Entropy

DOI: 10.3390/e28101161 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Nhiều vấn đề trong xử lý tín hiệu, học máy và hình ảnh thần kinh cung cấp một số đo lường quan sát chung của một quy trình, mỗi hỗn hợp một thành phần chung cho tất cả chúng với một thành phần riêng cho chính nó, và yêu cầu thành phần chung được phục hồi mà không có sự giám sát. Vấn đề này đã được nghiên cứu trong một số cộng đồng, phần lớn độc lập. Các nhà thống kê đã đề xuất các kết quả chính và các công cụ phân tích tương quan canonic (CCA), được giới thiệu bởi Hotelling vào năm 1936. Các nhà lý thuyết thông tin đã đề xuất hai khái niệm thông tin chung, do Gács và Körner và đến Wyner. Các kỹ sư đã phát triển các phương pháp tiểu không gian cho các bộ phận cảm biến và truyền thông đa người dùng để thiết kế các máy thu đa dạng. Hướng dẫn này trình bày các kết quả chính và mỗi công cụ cộng đồng

Machine translation (Meta M2M100); the English original follows.

Abstract

Many problems in signal processing, machine learning, and neuroimaging provide several jointly observed measurements of one process, each mixing a component common to all of them with a component private to itself, and require the common component to be recovered without supervision. This problem has been studied in several communities, largely independently. Statisticians proposed canonical correlation analysis (CCA), introduced by Hotelling in 1936. Information theorists proposed two notions of common information, due to Gács and Körner and to Wyner. Engineers developed subspace methods for sensor arrays and multiuser communications to design multiview receivers. This tutorial presents the main results and tools each community developed for this problem in a single exposition, and explains the connections that emerge where they meet, distinguishing exact equivalences from special cases and analogies. We develop the information-theoretic foundation from first principles. We then introduce CCA and its extension to several views, followed by the engineering thread from blind multiuser detection to CCA as a blind receiver. Next, we turn to nonlinear CCA, covering kernel, deep, and probabilistic formulations, the conditions under which the common factor is identifiable, and connections to self-supervised learning. We conclude with a discussion of further extensions and open directions. The exposition is self-contained, so that readers from each of these communities can follow the parts developed by the others.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Canonical correlation, Probabilistic logic, Computer science, Artificial intelligence, Bridging (networking), Subspace topology

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange