Newest papers

CRANE: Post-Hoc Counterfactual Retrieval for Multimodal Classifiers

Franco Rugolon, Ioanna Miliou, Panagiotis Papapetrou · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.31594 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Các phương pháp giải thích duy nhất chống thực tế đã được giới thiệu cho các cài đặt unimodal, với các khuôn khổ dành riêng cho dữ liệu bảng, chuỗi thời gian, văn bản và hình ảnh, tuy nhiên không có phương pháp hậu trường nào được thiết kế cho các nhà phân loại học hỏi từ các đầu vào đa phương thức. Các phương pháp giải thích hiện có cho các nhà phân loại đa phương thức áp dụng quy định cụ thể về mô hình độc lập cho mỗi đầu vào, không thể đưa ra các giải thích nhất quán và không chuyển sang các kiến trúc đa phương thức được đào tạo trước. Để giải quyết những thiếu sót này, chúng tôi trình bày CRANE (Counterfactual Retrieval via Agnostic Nearest-Neighbour Explanations), khuôn khổ mô hình hậu trường đầu tiên, mô hình-agnostic cho thế hệ chống thực tế đa phương tiện gần nhất, thu thập các ví

Machine translation (Meta M2M100); the English original follows.

Abstract

Counterfactual explanation methods have been introduced for unimodal settings, with dedicated frameworks for tabular, timeseries, text, and image data, yet no post-hoc method has been designed for classifiers that learn from multimodal inputs. Existing explainability methods for multimodal classifiers apply modality-specific attribution independently to each input, which fails to yield coherent explanations and does not transfer to arbitrary pre-trained multimodal architectures. To address these shortcomings, we present CRANE (Counterfactual Retrieval via Agnostic Nearest-neighbour Explanations), the first post-hoc, model-agnostic framework for nearest-neighbour multimodal counterfactual generation that retrieves real training examples from the target class as candidate explanations, ensuring plausibility by construction. Across four heterogeneous datasets and three fusion strategies, we show that Multimodal Consensus Retrieval (MC-R), which intersects per-modality neighbour sets to identify instances jointly close to the query in every modality, emerges as the strongest multimodal strategy, achieving the best or joint-best outcome on three of four datasets while grounding every explanation in the joint training distribution. Unimodal strategies remain competitive when a single modality dominates the decision boundary.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Counterfactual thinking, Computer science, Artificial intelligence, Machine learning, Class (philosophy), Modality (human–computer interaction)

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange