Newest papers

GazeLens for Efficient Egocentric Video Question Answering with Simple Gaze-Driven Adaptive Token Reduction

Trong-Thang Pham, Anh Nguyen, Hien Van Nguyen, Ngan Le · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.28502 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Kính thông minh có thể giúp người dùng hiểu các hoạt động và môi trường xung quanh của họ, nhưng các mô hình ngôn ngữ tầm nhìn nhỏ phải duy trì bằng chứng hữu ích trong các tính toán hạn chế. Điều này rất khó bởi vì khung hình dư thừa tiêu thụ ngân sách thị giác, trong khi nén không gian hung hăng có thể loại bỏ các chi tiết có liên quan. Mặc dù khung hình xác định sự tập trung của người dùng, câu hỏi có thể yêu cầu bằng chứng từ cảnh xung quanh. Để giải quyết những hạn chế này, chúng tôi đề xuất GazeLens, kết hợp việc lựa chọn khung hình với việc giảm mã thông báo chủ yếu. Đầu tiên, chuyển đổi HOG và sắc nét hình ảnh chọn khung hình trước khi mã hóa hình ảnh. Đối với mỗi khung hình được chọn, tập hợp Gaussian sau đó hình thành các tóm tắt tập trung và bổ sung khung hình

Machine translation (Meta M2M100); the English original follows.

Abstract

Smart glasses can help users understand their activities and surroundings, but small vision-language models must preserve useful evidence within limited computation. This is difficult because redundant frames consume the visual budget, while aggressive spatial compression can discard relevant details. Although gaze identifies the wearer's focus, the question may require evidence from the surrounding scene. To address these constraints, we propose GazeLens, which combines frame selection with gaze- and question-guided token reduction. First, HOG transitions and image sharpness select frames before visual encoding. For each selected frame, Gaussian pooling then forms gaze-focused and complementary summaries. Because their relevance depends on the question, a lightweight gate blends them into a primary token. Together with a global scene token, this retains both focused and contextual summaries within two tokens per frame. On StreamGaze, GazeLens achieves higher macro and micro accuracy than the evaluated full-grid and token-reduction baselines, with lower input-forward FLOPs than the shared-backbone token-reduction baselines.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Security token, Pooling, Relevance (law), Artificial intelligence, Frame (networking)

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange