Multi-modal RGB-D Image Segmentation from Appearance and Geometric Depth Maps

Los algoritmos clásicos de segmentación de imágenes explotan la detección de similitudes y discontinuidades en diferentes señales visuales, para definir regiones de interés en imágenes. Sin embargo, debido a la alta variabilidad e incertidumbre en los datos de imagen, se dificulta generar resultados acertados. En otras palabras, la segmentación basada solo en color a menudo no es suficiente para un gran porcentaje de escenas reales. Este trabajo presenta una nueva estrategia de segmentación multi-modal que integra señales de profundidad y apariencia desde imágenes RGB-D, por medio de una representación jerárquica basada en regiones, es decir, un árbol de segmentación multi-modal (MM-tree). Para ello, la imagen RGB-D es descrita de manera complementaria por diferentes mapas de segmentación. A partir de la imagen de color, se implementa un árbol de segmentación de color (C-tree) para obtener mapas de segmentación y sobre-segmentación. Desde de la imagen de profundidad, se derivan dos mapas de segmentación independientes, los cuales se basan en el cálculo de primitivas de planos y de bordes 3D. Seguidamente, un proceso de fusión jerárquico de regiones permite agrupar de manera local los mapas obtenidos anteriormente en el MM-tree. Por último, el nivel superior emergente del MM-tree integra coherentemente la información disponible en los mapas de profundidad y apariencia. Los experimentos se realizaron con el conjunto de imágenes RGB-D del NYU-Depth V2, evidenciando resultados competitivos, con respecto a los métodos de segmentación del estado del arte. Específicamente, en las imágenes de prueba, se obtuvieron puntajes promedio de 0.56 en la medida de Segmentation Covering y 2.13 en Variation of Information.

• Autores: Salazar, Isail; Pertuz, Said; Martínez , Fabio
• Tipo de recurso: Article of journal
• Fecha de publicación: 2020
• Institución: Instituto Tecnológico Metropolitano
• Repositorio: Repositorio ITM
• Idioma: spa; eng
• OAI Identifier: oai:repositorio.itm.edu.co:20.500.12622/4616
• Acceso en línea: https://revistas.itm.edu.co/index.php/tecnologicas/article/view/1538; http://hdl.handle.net/20.500.12622/4616
• Palabra clave: Segmentación de imágenes; sobre-segmentación; imágenes RGB-D; información de profundidad; segmentación multi-modal; Image segmentation; over-segmentation; RGB-D images; depth information; multi-modal segmentation
• License: Copyright (c) 2020 TecnoLógicas