Newest papers

Lightweight Frame Compensation for Real-Time Polyp Segmentation under Frame Skipping

Weihao Gao · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.31228 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Trans-time skipping là phân đoạn polyp trạng thái theo phân đoạn thực tế trong colonoscopy được hỗ trợ bởi máy tính bị cản trở bởi khó khăn trong việc triển khai các mô hình độ chính xác cao dưới ngân sách độ trễ nghiêm ngặt. Trans-time skipping, thực hiện inference mỗi khung K và tái sử dụng hoặc interpolates phần còn lại, cải thiện thông lượng nhưng giới thiệu mờ chuyển động và tổn thương sai sót làm suy giảm sự nhất quán thời gian. Để đóng cửa khoảng cách này, chúng tôi đề xuất Lightweight Frame Compensator (LFC), một mô-đun plug-and-play thông số 77K mà không có bất kỳ thông báo chuyên gia nào được chèn trước khung phân đoạn đông lạnh. Hoạt động trên một cửa sổ ba khung, LFC kết hợp khung liên tiếp thông qua sự chú ý không gian-thời gian lớn

Machine translation (Meta M2M100); the English original follows.

Abstract

Real-time polyp segmentation in computer-assisted colonoscopy is hampered by the difficulty of deploying high-accuracy models under strict latency budgets. Frame skipping, which performs inference every K frames and reuses or interpolates the rest, improves throughput but introduces motion blur and lesion misalignment that degrade temporal consistency. To close this gap, we propose the Lightweight Frame Compensator (LFC), a 77K-parameter plug-and-play module inserted before a frozen segmentation backbone. Operating on a three-frame window, LFC fuses consecutive frames via spatio-temporal attention into a single compensated frame, and is trained only on pseudo-labels generated by a differently seeded model, without any expert annotation. Experiments on three polyp video benchmarks show that LFC recovers most of the accuracy degraded by direct frame skipping and, in several settings, reaches the accuracy of frame-by-frame inference, while retaining a 2.05X--2.55X throughput gain. We further evaluate the temporal stability of three backbones spanning CNN, pyramid Transformer, and global-attention Transformer architectures, revealing a spectrum of sensitivity to frame skipping that arises from how locally or globally each architecture aggregates misaligned input. The compensation gain of LFC follows this spectrum: it is largest for high-capacity Transformer backbones, which achieve the best static accuracy but suffer the most under skip-frame inference. LFC thus offers a lightweight, pluggable, and deployment-friendly route to real-time polyp segmentation.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Artificial intelligence, Computer vision, Segmentation, Frame (networking), Motion compensation

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange