Newest papers

NarraSpace: Multimodal Scene-Grounded Evidence for Picture-Description Dementia Classification

Qingming Li, Ruiyan Sun, Satoshi Nakamura · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.28616 · cited by 0 works (OpenAlex) · open-access PDF

Russian

Классификация деменции с описанием изображения использует совместную визуальную сцену, но прогноз на уровне транскрипта сам по себе не идентифицирует доказательства сцены, лежащие в основе ее входов. NarraSpace связывает слова и время речи с названными элементами изображения и получает высказывания для предварительно определенных событий сцены. Описательные пространственные описатели обобщают охват и временную организацию. Модель замороженного языка контрастирует текст каждого события под примерами от болезни Альцгеймера и участников обучения здорового языка, наряду с транскриптом и измерениями покрытия. Задержанные исходные записи связывают результаты событий с их исходными высказываниями, интервалами речи и лексическими совпадениями. На офици

Machine translation (Meta M2M100); the English original follows.

Abstract

Picture-description dementia classification uses a shared visual scene, but a transcript-level prediction alone does not identify the scene evidence underlying its inputs. NarraSpace links words and speech times to named picture elements and retrieves utterances for predefined scene events. Narrative-spatial descriptors summarize coverage and temporal organization. A frozen language model contrasts each event's text under examples from Alzheimer's disease and healthy-control training participants, alongside transcript surprisal and coverage measurements. Retained source records link event scores to their source utterances, speech intervals, and lexical matches. On the official 48-participant test set of the Alzheimer's Dementia Recognition through Spontaneous Speech benchmark, a fixed support vector classifier achieves $80.88\%\pm2.56\%$ mean accuracy over fifty seeds; averaged probabilities yield $81.25\%$ accuracy and $91.32\%$ area under the receiver operating characteristic curve. NarraSpace makes the construction of scene-linked classification inputs explicit and inspectable by connecting event-indexed language-model measurements to their source utterances, speech timing, and extraction records. Such source-linked measurements could support clinician review of picture descriptions by presenting quantitative summaries alongside the original speech evidence.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Classifier (UML), Dementia, Natural language processing, Speech recognition, Artificial intelligence

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange