Одна точка, полная маска: эволюция функций уровня под управлением скорости для сквозной амодальной сегментации
Single Point, Full Mask: Velocity-Guided Level Set Evolution for End-to-End Amodal Segmentation
Zhixuan Li, Yujia Liu, Chen Hui, Chenyue Song, Weisi Lin
Аннотация (перевод)
Амодальная сегментация направлена на восстановление полных форм объектов, включая перекрытые области, выступая в качестве важнейшего метода для ориентированного на пользователя создания мультимедийного контента и визуальных манипуляций на уровне объектов. Существующие методы обычно полагаются на информативные подсказки, такие как ограничивающие рамки или плотные видимые маски, что существенно снижает удобство для пользователя и эффективность взаимодействия в реальных мультимедийных приложениях. Хотя современные интерактивные парадигмы (например, Segment Anything Model) поддерживают легковесное взаимодействие на основе точек, они часто выполняют прямое регрессионное предсказание масок. Принципиально важно то, что непрозрачный характер этих моделей прямой регрессии не обеспечивает визуальной объяснимости того, как выводятся скрытые структуры, что противоречит растущему спросу на интерпретируемые мультимедийные системы. Для устранения этих ограничений мы предлагаем VELA — сквозной метод амодальной сегментации на основе функций уровня, управляемых скоростью (VElocity-driven Level-set Amodal segmentation), который обеспечивает явную и прозрачную эволюцию контура, запускаемую простыми кликами по точкам. VELA строит начальную функцию уровней на основе визуальных признаков и точечного ввода пользователя, которая затем постепенно эволюционирует в итоговую амодальную маску под управлением специфичного для формы поля движения, предсказываемого полностью дифференцируемой сетью. Этот механизм обучается генерировать динамику эволюции на каждом шаге, гарантируя, что процесс пространственного логического вывода является геометрически обоснованным, топологически гибким и визуально понятным пользователю. Обширные эксперименты на бенчмарках COCOA-cls, D2SA и KINS демонстрируют, что VELA превосходит существующие методы, использующие подсказки в виде ограничивающих рамок или плотных видимых масок, требуя при этом лишь подсказку в виде одной точки, что подтверждает эффективность объяснимого геометрического моделирования для интерактивных мультимедийных задач.
Оригинальная аннотация
Amodal segmentation aims to recover complete object shapes, including occluded regions, serving as an essential technique for user-centric multimedia authoring and object-level visual manipulation. Existing methods typically rely on informative prompts, such as bounding boxes or dense visible masks, which heavily degrade the user experience and interaction efficiency in real-world multimedia applications. While recent interactive paradigms (e.g., the Segment Anything Model) support lightweight point-based interactions, they often perform direct mask regression. Crucially, the opaque nature of these direct-regression models offers no visual explainability regarding how occluded structures are inferred, conflicting with the growing demand for interpretable multimedia systems. To address these limitations, we propose VELA, an end-to-end VElocity-driven Level-set Amodal segmentation method that enables explicit and transparent contour evolution driven by simple point clicks. VELA constructs an initial level set function from visual features and the user's point input, which then progressively evolves into the final amodal mask under the guidance of a shape-specific motion field predicted by a fully differentiable network. This mechanism learns to generate evolution dynamics at each step, ensuring that the spatial reasoning process is geometrically grounded, topologically flexible, and visually explainable to the user. Extensive experiments on COCOA-cls, D2SA, and KINS benchmarks demonstrate that VELA outperforms existing methods that use bounding-box or dense visible-mask prompts while requiring only a single-point prompt, validating the effectiveness of explainable geometric modeling for interactive multimedia tasks.
Идентификаторы
Canonical: https://research.holos.house/w/4e71d959-c5d5-4175-9db6-b5f3e2682dda
DOI: 10.1145/3767308.3834929