Manipulación de un brazo robótico mediante gestos de la mano utilizando inteligencia artificial

La manipulación de dispositivos robóticos mediante gestos capturados por cámaras es una técnica prometedora dentro de la interacción hombre máquina. Este método de interacción presenta diversos desafíos técnicos que incluyen la precisión en la identificación de los gestos debido a la variabilidad anatómica de las manos y las condiciones ambientales y de luz que afectan la calidad de la detección. Este proyecto busca desarrollar un sistema de manipulación de un brazo robótico utilizando inteligencia artificial que permita una interpretación correcta de los gestos que no se vea limitada a las condiciones de luz, ambigüedad anatómica. El desarrollo del proyecto se llevó a cabo por medio de cuatro etapas. La primera consiste en el desarrollo de un dataset de entrenamiento para los modelos de inteligencia artificial, para lo cual se tomó una muestra de un dataset existente y se construyó uno nuevo que cumpliera las necesidades del proyecto. Seguidamente se procede a la selección de algoritmos de inteligencia artificial y su respectivo entrenamiento enfocado en la detección de gestos de la mano en tiempo real usando estimación de pose. Este algoritmo se probó en condiciones de luz variables y a diferentes distancias de detección para lograr una validación del funcionamiento. Una vez entrenado el modelo de reconocimiento se procede a la creación de rutinas específicas de pick and place usando CoppeliaSim y el robot Niryo One. Las rutinas son basadas en la recolección de cinco tipos diferentes de objetos distribuidos en un entorno controlado que simula la categorización de objetos de forma manual usando un robot de seis grados de libertad. Finalmente, tras la implementación de las rutinas se realizó una integración de los subsistemas de inteligencia artificial y robótica para el ajuste la interacción del modelo con el reconocimiento de gestos y la ejecución de tareas para poder finalizar haciendo pruebas de funcionamiento y validación donde se encontró que el sistema es confiable para su uso en tiempo real y muestra un buen desempeño en la identificación de los gestos de control como en la ejecución de las rutinas teniendo pocos fallos en múltiples repeticiones.

• Autores: Ramírez Silva, Miguel Ángel
• Tipo de recurso: Trabajo de grado de pregrado
• Fecha de publicación: 2024
• Institución: Universidad Autónoma de Occidente
• Repositorio: RED: Repositorio Educativo Digital UAO
• Idioma: spa
• OAI Identifier: oai:red.uao.edu.co:10614/15920
• Acceso en línea: https://hdl.handle.net/10614/15920; https://red.uao.edu.co/
• Palabra clave: Ingeniería mecatrónica; Inteligencia artificial; Reconocimiento de gestos de la mano; Manipulación robótica; Interacción Hombre-Máquina; Artificial intelligence; Hand gesture recognition; Robotic Manipulation; Human-machine interaction
• Rights: openAccess
• License: Derechos reservados - Universidad Autónoma de Occidente, 202