Newest papers

MixPT: Point Transformer with Interleaved Window and Global Attention

Minkyun Seo, Hyungtae Lim, Jaesik Park · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.31455 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Các nhà biến đổi đám mây điểm nhằm mục đích nắm bắt các khối địa phương chi tiết và các mối quan hệ trên một cảnh với chi phí tính toán có thể quản lý. Hai cách tiếp cận phổ biến là sự chú ý cửa sổ và sự chú ý toàn cầu. Chúng khác nhau về cách chúng cho phép tương tác toàn cảnh, đề cập đến việc trao đổi thông tin giữa các token trên một cảnh. Sự chú ý cửa sổ giảm chi phí tính toán bằng cách hạn chế sự tự chú ý đến các nhóm token được gọi là cửa sổ; trong các thiết kế hàng loạt, mỗi cửa sổ chứa một số token liên tiếp cố định từ một chuỗi có trật tự không gian. Bởi vì mỗi khối chỉ trực tiếp kết nối các token trong cùng một cửa sổ, trao đổi thông tin trên các cửa sổ dựa trên sự thay đổi trong thành viên cửa sổ trên các khối và tập hợp phân cấp. Sự chú ý toàn cầu, trái ngược

Machine translation (Meta M2M100); the English original follows.

Abstract

Point cloud transformers aim to capture detailed local geometry and relationships across a scene at a manageable computational cost. Two common approaches are window attention and global attention. They differ in how they enable scene-wide interaction, which refers to information exchange among tokens across a scene. Window attention reduces computational cost by restricting self-attention to groups of tokens called windows; in serialized designs, each window contains a fixed number of consecutive tokens from a spatially ordered sequence. Because each block only directly connects tokens within the same window, information exchange across windows relies on changes in window membership across blocks and hierarchical pooling. Global attention, in contrast, directly connects all tokens within a scene, but computing attention over all token pairs can be costly when the number of tokens is large. To balance computational cost and scene-wide interaction, we introduce MixPT, a point transformer that uses a mix of window and global attention blocks in an interleaved schedule, while retaining a single fixed serialization pattern for its window blocks. For scenes with a large number of tokens, MixPT applies global attention to spatially pooled tokens and returns residual updates to the original-resolution stream. Across indoor and outdoor benchmarks, MixPT achieves competitive accuracy with lower latency than representative window and global attention baselines. We further demonstrate the feasibility of scaling the attention stage in depth by repeating the interleaved pattern of window and global attention blocks.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Window (computing), Serialization, Security token, Transformer, Point cloud

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange