Newest papers

Efficient Edge-aware Attention Network for Graph Generation

Vincent Jung, Alba Carballo-Castro, Yiming Qin, Lonneke van der Plas, Pascal Frossard B · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.28618 · cited by 0 works (OpenAlex) · open-access PDF

Korean

그래프 생성 모델은 일반적으로 그래프 특정 트랜스퍼러 아키텍처를 사용하여 노드 및 가장자리 기능을 공동으로 업데이트합니다. 그러나 이러한 아키텍처는 최근의 하드웨어 인식주의 구현에서 직접적으로 이익을 얻지 못하고 확장성을 제한합니다. 그러나 적응은 비정상적입니다 : 가장자리 및 그래프 수준의 기능은 쌍방향 관심 점수에 주입되어야하며, 그래프 마스크는 존중되어야하며 동적 가장자리 업데이트는 사각형 메모리 사용의 주요 원천으로 남아 있습니다. 그래프 생성을위한 가장자리 인식주의 계층을 제안합니다. 그래프 생성은 머리 방향 점수 모듈링을 통해 구조적 정보를 포함하고, 가장자리 표현을 가볍게 남아있는 남은 메커니

Machine translation (Meta M2M100); the English original follows.

Abstract

Graph generative models commonly use graph-specific Transformer architectures to jointly update node and edge features. However, these architectures do not directly benefit from recent hardware-aware attention implementations, limiting their scalability. The adaptation is, however, non-trivial: edge and graph-level features must be injected into pairwise attention scores, graph masks must be respected, and dynamic edge updates remain a major source of quadratic memory usage. We propose an edge-aware attention layer for graph generation that incorporates structural information through head-wise score modulation, while updating edge representations with a lightweight residual mechanism that retains attention-score dependent edge updates. This layer can be effectively implemented using PyTorch's FlexAttention. We achieve similar generation quality to our baseline while reducing peak GPU memory by around 65% and substantially improving training and sampling throughput. These results suggest that the proposed architecture is a practical step toward scalable graph foundation models.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Scalability, Graph, Theoretical computer science, Limiting, Residual

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange