Newest papers

On the Token Collapse Phenomenon in Textual Graph Soft Prompting

Andrea Giuseppe Di Francesco, Rishabh Jain, Franco Maria Nardini, Nicola Tonellotto, Pietro Liò, Fabrizio Silvestri · 2026 · arXiv

DOI: 10.48550/arXiv.2610.31572 · open-access PDF

Korean

LLM 프롬프트에 그래프 구조를 주입하는 최근의 방법에는 그래프 부드러운 프롬프트가 포함되어 있으며, 그래프 신경 네트워크(GNN)는 텍스트 프롬프트에서 엔터테인먼트 간의 관계 정보를 캡처하는 그래프 특정 토큰을 배웁니다. G-Retriever는 그래프 부드러운 프롬프트를 동일한 그래프의 언어화 된 설명과 결합하여 텍스트 프롬프트 신호를 강화합니다. 우리는 G-Retriever에 대한 심층적 인 분석을 수행하고 우리가 토큰 붕괴라고 부르는 병리학 적 행동을 발견합니다. 세 개의 벤치마크, 세 개의 그래프 인코더, 두 개의 LLM 가족, 그리고 냉동 및 LoRA 적응 모델 모두를 통해 G-Retriever의 그래프

Machine translation (Meta M2M100); the English original follows.

Abstract

Recent methods for injecting graph structure into LLM prompts include graph soft prompting, in which a graph neural network (GNN) learns graph-specific tokens that capture relational information among entities in textual prompts. G-Retriever combines graph soft prompts with a verbalized description of the same graph to strengthen the textual prompt signal. We conduct an in-depth analysis of G-Retriever and uncover a pathological behavior we term token collapse. Across three benchmarks, three graph encoders, two LLM families, and both frozen and LoRA-adapted models, G-Retriever's graph tokens b

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange