Newest papers

Efficient Edge-aware Attention Network for Graph Generation

Vincent Jung, Alba Carballo-Castro, Yiming Qin, Lonneke van der Plas, Pascal Frossard B · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.28618 · cited by 0 works (OpenAlex) · open-access PDF

Hindi

ग्राफ जनरेटिव मॉडल आमतौर पर ग्राफ-विशिष्ट ट्रांसफॉर्मर आर्किटेक्चर का उपयोग नोड और एज सुविधाओं को संयुक्त रूप से अपडेट करने के लिए करते हैं. हालांकि, इन आर्किटेक्चरों को हाल ही में हार्डवेयर-जागरूक ध्यान के कार्यान्वयन से सीधे लाभ नहीं मिलता है, जिससे उनकी स्केलिंग को सीमित किया जाता है। अनुकूलन, हालांकि, गैर-ट्रिविअल है: एज और ग्राफ-स्तरीय सुविधाओं को जुड़वा ध्यान स्कोर में इंजेक्ट किया जाना चाहिए, ग्राफ मास्क को सम्मानित किया जाना चाहिए, और गतिशील एज अपडेट quadratic मेमोरी उपयोग का एक प्रमुख स्रोत बनाए रखा जा सकता है। हम ग्राफ उत्पादन के लिए एक एज-जागरूक ध्यान परत का प्रस्ताव

Machine translation (Meta M2M100); the English original follows.

Abstract

Graph generative models commonly use graph-specific Transformer architectures to jointly update node and edge features. However, these architectures do not directly benefit from recent hardware-aware attention implementations, limiting their scalability. The adaptation is, however, non-trivial: edge and graph-level features must be injected into pairwise attention scores, graph masks must be respected, and dynamic edge updates remain a major source of quadratic memory usage. We propose an edge-aware attention layer for graph generation that incorporates structural information through head-wise score modulation, while updating edge representations with a lightweight residual mechanism that retains attention-score dependent edge updates. This layer can be effectively implemented using PyTorch's FlexAttention. We achieve similar generation quality to our baseline while reducing peak GPU memory by around 65% and substantially improving training and sampling throughput. These results suggest that the proposed architecture is a practical step toward scalable graph foundation models.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Scalability, Graph, Theoretical computer science, Limiting, Residual

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange