Manipulación de un brazo robótico mediante gestos de la mano utilizando inteligencia artificial
La manipulación de dispositivos robóticos mediante gestos capturados por cámaras es una técnica prometedora dentro de la interacción hombre máquina. Este método de interacción presenta diversos desafíos técnicos que incluyen la precisión en la identificación de los gestos debido a la variabilidad an...
- Autores:
-
Ramírez Silva, Miguel Ángel
- Tipo de recurso:
- Trabajo de grado de pregrado
- Fecha de publicación:
- 2024
- Institución:
- Universidad Autónoma de Occidente
- Repositorio:
- RED: Repositorio Educativo Digital UAO
- Idioma:
- spa
- OAI Identifier:
- oai:red.uao.edu.co:10614/15920
- Acceso en línea:
- https://hdl.handle.net/10614/15920
https://red.uao.edu.co/
- Palabra clave:
- Ingeniería mecatrónica
Inteligencia artificial
Reconocimiento de gestos de la mano
Manipulación robótica
Interacción Hombre-Máquina
Artificial intelligence
Hand gesture recognition
Robotic Manipulation
Human-machine interaction
- Rights
- openAccess
- License
- Derechos reservados - Universidad Autónoma de Occidente, 202
| id |
REPOUAO2_3c8ab39d62b75211cd51ec9cf3b0958c |
|---|---|
| oai_identifier_str |
oai:red.uao.edu.co:10614/15920 |
| network_acronym_str |
REPOUAO2 |
| network_name_str |
RED: Repositorio Educativo Digital UAO |
| repository_id_str |
|
| dc.title.spa.fl_str_mv |
Manipulación de un brazo robótico mediante gestos de la mano utilizando inteligencia artificial |
| title |
Manipulación de un brazo robótico mediante gestos de la mano utilizando inteligencia artificial |
| spellingShingle |
Manipulación de un brazo robótico mediante gestos de la mano utilizando inteligencia artificial Ingeniería mecatrónica Inteligencia artificial Reconocimiento de gestos de la mano Manipulación robótica Interacción Hombre-Máquina Artificial intelligence Hand gesture recognition Robotic Manipulation Human-machine interaction |
| title_short |
Manipulación de un brazo robótico mediante gestos de la mano utilizando inteligencia artificial |
| title_full |
Manipulación de un brazo robótico mediante gestos de la mano utilizando inteligencia artificial |
| title_fullStr |
Manipulación de un brazo robótico mediante gestos de la mano utilizando inteligencia artificial |
| title_full_unstemmed |
Manipulación de un brazo robótico mediante gestos de la mano utilizando inteligencia artificial |
| title_sort |
Manipulación de un brazo robótico mediante gestos de la mano utilizando inteligencia artificial |
| dc.creator.fl_str_mv |
Ramírez Silva, Miguel Ángel |
| dc.contributor.advisor.none.fl_str_mv |
López Sotelo, Jesús Alfonso |
| dc.contributor.author.none.fl_str_mv |
Ramírez Silva, Miguel Ángel |
| dc.contributor.corporatename.spa.fl_str_mv |
Universidad Autónoma de Occidente |
| dc.contributor.jury.none.fl_str_mv |
Castillo, Javier Ferney |
| dc.subject.proposal.spa.fl_str_mv |
Ingeniería mecatrónica Inteligencia artificial Reconocimiento de gestos de la mano Manipulación robótica Interacción Hombre-Máquina |
| topic |
Ingeniería mecatrónica Inteligencia artificial Reconocimiento de gestos de la mano Manipulación robótica Interacción Hombre-Máquina Artificial intelligence Hand gesture recognition Robotic Manipulation Human-machine interaction |
| dc.subject.proposal.eng.fl_str_mv |
Artificial intelligence Hand gesture recognition Robotic Manipulation Human-machine interaction |
| description |
La manipulación de dispositivos robóticos mediante gestos capturados por cámaras es una técnica prometedora dentro de la interacción hombre máquina. Este método de interacción presenta diversos desafíos técnicos que incluyen la precisión en la identificación de los gestos debido a la variabilidad anatómica de las manos y las condiciones ambientales y de luz que afectan la calidad de la detección. Este proyecto busca desarrollar un sistema de manipulación de un brazo robótico utilizando inteligencia artificial que permita una interpretación correcta de los gestos que no se vea limitada a las condiciones de luz, ambigüedad anatómica. El desarrollo del proyecto se llevó a cabo por medio de cuatro etapas. La primera consiste en el desarrollo de un dataset de entrenamiento para los modelos de inteligencia artificial, para lo cual se tomó una muestra de un dataset existente y se construyó uno nuevo que cumpliera las necesidades del proyecto. Seguidamente se procede a la selección de algoritmos de inteligencia artificial y su respectivo entrenamiento enfocado en la detección de gestos de la mano en tiempo real usando estimación de pose. Este algoritmo se probó en condiciones de luz variables y a diferentes distancias de detección para lograr una validación del funcionamiento. Una vez entrenado el modelo de reconocimiento se procede a la creación de rutinas específicas de pick and place usando CoppeliaSim y el robot Niryo One. Las rutinas son basadas en la recolección de cinco tipos diferentes de objetos distribuidos en un entorno controlado que simula la categorización de objetos de forma manual usando un robot de seis grados de libertad. Finalmente, tras la implementación de las rutinas se realizó una integración de los subsistemas de inteligencia artificial y robótica para el ajuste la interacción del modelo con el reconocimiento de gestos y la ejecución de tareas para poder finalizar haciendo pruebas de funcionamiento y validación donde se encontró que el sistema es confiable para su uso en tiempo real y muestra un buen desempeño en la identificación de los gestos de control como en la ejecución de las rutinas teniendo pocos fallos en múltiples repeticiones. |
| publishDate |
2024 |
| dc.date.accessioned.none.fl_str_mv |
2024-11-25T15:18:14Z |
| dc.date.available.none.fl_str_mv |
2024-11-25T15:18:14Z |
| dc.date.issued.none.fl_str_mv |
2024-11-05 |
| dc.type.spa.fl_str_mv |
Trabajo de grado - Pregrado |
| dc.type.coarversion.fl_str_mv |
http://purl.org/coar/version/c_970fb48d4fbd8a85 |
| dc.type.coar.eng.fl_str_mv |
http://purl.org/coar/resource_type/c_7a1f |
| dc.type.content.eng.fl_str_mv |
Text |
| dc.type.driver.eng.fl_str_mv |
info:eu-repo/semantics/bachelorThesis |
| dc.type.redcol.eng.fl_str_mv |
http://purl.org/redcol/resource_type/TP |
| dc.type.version.eng.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| format |
http://purl.org/coar/resource_type/c_7a1f |
| status_str |
publishedVersion |
| dc.identifier.citation.spa.fl_str_mv |
Ramírez Silva, M. A. (2024). Manipulación de un brazo robótico mediante gestos de la mano utilizando inteligencia artificial. (Proyecto de grado). Universidad Autónoma de Occidente. Cali. Colombia |
| dc.identifier.uri.none.fl_str_mv |
https://hdl.handle.net/10614/15920 |
| dc.identifier.instname.spa.fl_str_mv |
Universidad Autónoma de Occidente |
| dc.identifier.reponame.spa.fl_str_mv |
Respositorio Educativo Digital UAO |
| dc.identifier.repourl.none.fl_str_mv |
https://red.uao.edu.co/ |
| identifier_str_mv |
Ramírez Silva, M. A. (2024). Manipulación de un brazo robótico mediante gestos de la mano utilizando inteligencia artificial. (Proyecto de grado). Universidad Autónoma de Occidente. Cali. Colombia Universidad Autónoma de Occidente Respositorio Educativo Digital UAO |
| url |
https://hdl.handle.net/10614/15920 https://red.uao.edu.co/ |
| dc.language.iso.spa.fl_str_mv |
spa |
| language |
spa |
| dc.relation.references.none.fl_str_mv |
[1] Real Academia Española, «“Diccionario de la lengua española” - Edición del Tricentenario». [2] L. Cortés-Rico y G. Piedrahita-Solórzano, "Interacciones basadas en gestos: revisión crítica," Tecnológicas, vol. 22, pp. 119–132, 2019. doi: https://doi.org/10.22430/22565337.1512. [3] D. A. Norman, "Natural user interfaces are not natural," Interactions, vol. 17, no. 3, pp. 6-10, May 2010. doi: https://doi.org/10.1145/1744161.1744163. [4] M. Matilainen, P. Sangi, J. Holappa, y O. Silvén, "OUHANDS database for hand detection and pose recognition," en 2016 Sixth International Conference on Image Processing Theory, Tools and Applications (IPTA), Oulu, 2016, pp. 1-5. doi: 10.1109/IPTA.2016.7821025. [5] T. Grzejszczak, M. Kawulok, y A. Galuszka, "Hand landmarks detection and localization in color images," Multimed. Tools Appl., vol. 75, pp. 16363–16387, 2016. doi: https://doi.org/10.1007/s11042-015-2934-5. [6] P. Ponsa, C. Urbina, C. Manresa-Yee, y R. Vilanova, "Estudio de Usabilidad de una Interfaz Gestual Basada en Visión," Revista FAZ, vol. 8, pp. 99-119, 2015. Disponible: http://www.revistafaz.org/n8/6-interfazgestual.pdf. [7] M. Oudah, A. Al-Naji, y J.S. Chahl, "Hand Gesture Recognition Based on Computer Vision: A Review of Techniques," J. Imaging, vol. 6, 2020. [8] A. Agrawal, N. Jadhav, A. Gaur, S. Jeswani, y A. Kshirsagar, "Improving the Accuracy of Object Detection in Low Light Conditions using Multiple Retinex Theory-based Image Enhancement Algorithms," in 2022 Second International Conference on Advances en Electrical, Computing, Communication and Sustainable Technologies (ICAECT), Bhilai, India, 2022, pp. 1-5. doi: 10.1109/ICAECT54875.2022.9808011. [9] S. Panesar, Y. Cagle, D. Chander, J. Morey, J. Fernandez-Miranda, y M. Kliot, "Artificial intelligence and the future of surgical robotics," Ann. Surg., pp. 223-226, 2019. [10] R. Belk, "Ethical issues in service robotics and artificial intelligence," Serv. Ind. J., vol. 41, pp. 860-876, 2021. [11] OpenWebinars, "Datasets: Qué son y cómo acceder a ellos," OpenWebinars. Accedido: Sep. 5, 2024. [En línea ]. Disponible: https://openwebinars.net/blog/datasets-que-son-y-como-acceder-a-ellos/. [12] Viso.AI, "Human Pose Estimation with Deep Learning – Ultimate Overview en 2024," Viso.AI. Accedido: Sep. 5, 2024. [En línea]. Disponible: https://viso.ai/deep-learning/pose-estimation-ultimate-overview/. [13] Viso.AI, "Real-time full body pose estimation in construction – built with Viso Suite," Viso.AI. Accedido: Sep. 5, 2024. [En línea]. Disponible: https://viso.ai/deep-learning/pose-estimation-ultimate-overview/. [14] O. Chernytska, "Gentle introduction to 2D hand pose estimation approach explained," Towards Data Science. [En línea ]. Disponible: https://towardsdatascience.com/gentle-introduction-to-2d-hand-pose-estimation-approach-explained-4348d6d79b11. [15] IBM, "Aprendizaje supervisado," IBM. Accedido: Sep. 5, 2024. [En línea]. Disponible: https://www.ibm.com/mx-es/topics/supervised-learning. [16] Robotnik, "Guía completa de robots manipuladores: Ventajas y aplicaciones," Robotnik. Accedido: Sep. 5, 2024. [En línea ]. Disponible: https://robotnik.eu/es/guia-completa-de-robots-manipuladores-ventajas-y-aplicaciones/#:~:text=Los%20robots%20manipuladores%20son%20sistemas. [17] Kuka, "KR Cybertech," Kuka. Accedido: Sep. 5, 2024. [En línea ]. Disponible: https://www.kuka.com/es-mx/productos-servicios/sistemas-de-robot/robot-industrial/kr-cybertech. [18] J. Tompson, M. Stein, Y. LeCun, and K. Perlin, "Real-time continuous pose recovery of human hands using convolutional networks," ACM Trans. Graph., vol. 33, 2014. doi: https://doi.org/10.1145/2601097.2601128. [19] H. Guo, G. Wang, X. Chen, y C. Zhang, "Towards good practices for deep 3d hand pose estimation," arXiv preprint arXiv:1707.07248, 2017. [20] Q. Chen, X. Sun, Y. Wei, X. Tang, y J. Sun, "3D Hand Shape and Pose Estimation from a Single RGB Image," en Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2014, pp. 1106-1113. [21] G. García-Hernando, S. Yuan, S. Baek, y T.-K. Kim, "First-person hand action benchmark with RGB-D videos and 3D hand pose annotations," en Actas de la Conferencia de Visión por Computadora y Reconocimiento de Patrones (CVPR), 2018. [22] G. Moon, S.-I. Yu, H. Wen, T. Shiratori, y K. M. Lee, "InterHand2.6M: A dataset and baseline for 3D interacting hand pose estimation from a single RGB image," 2020. [23] A. Kapitanov, K. Kvanchiani, A. Nagaev, R. Kraynov, y A. Makhliarchuk, "HaGRID- HAnd Gesture Recognition Image Dataset," 2024. [En línea ]. Disponible: https://arxiv.org/abs/2206.08219. [24] S. Jin, L. Xu, J. Xu, C. Wang, W. Liu, C. Qian, W. Ouyang, y P. Luo, "Whole-body human pose estimation in the wild," en Actas de la Conferencia Europea sobre Visión por Computadora (ECCV), 2020. [25] Z. Cao, G. Hidalgo, T. Simon, S.-E. Wei, y Y. Sheikh, "OpenPose: Realtime multi-person 2D pose estimation using part affinity fields," 2018. [26] Google, "MediaPipe Hand Landmarker," Google AI. Accedido: Sep. 6, 2024. [En línea ]. Disponible: https://ai.google.dev/edge/mediapipe/solutions/vision/hand_landmarker. [27] V. Dibia, "Handtrack.js [Repositorio de GitHub]," GitHub. Accedido: Sep. 6, 2024. [En línea ]. Disponible: https://github.com/victordibia/handtrack.js?tab=readme-ov-file. [28] V. Dibia, "Handtrack.js," [imagen]. Accedido: Sep. 6, 2024. [En línea ]. Disponible: https://victordibia.com/handtrack.js/#/. [29] The MathWorks, Inc., Mastering Machine Learning: A Step-by-Step Guide with MATLAB. The MathWorks, Inc., 2019. [30] IBM, "Cómo funciona el aprendizaje supervisado," IBM. Accedido: Sep. 6, 2024. [En línea ]. Disponible: https://www.ibm.com/es-es/topics/supervised-learning#:~:text=El%20aprendizaje%20supervisado%2C%20también%20conocido,predicen%20los%20resultados%20con%20precisión. [31] J. A. López Sotelo, Deep Learning: Teoría y aplicaciones. Alpha Editorial. Alfaomega Colombiana S.A., ISBN 978-958-778-686-6. [32] IBM, "Redes neuronales," IBM. Accedido: Sep. 6, 2024. [En línea ]. Disponible: https://www.ibm.com/es-es/topics/neural-networks. [33] Amazon Web Services, "Arquitectura de una red neuronal profunda [Imagen]," AWS. Accedido: Sep. 7, 2024. [En línea ]. Disponible: https://aws.amazon.com/es/what-is/neural-network/. [34] MathWorks, “Introducción a Support Vector Machine (SVM),” MathWorks, 2024. [Enlace: https://la.mathworks.com/discovery/support-vector-machine.html#:~:text=Support%20vector%20machine%20(SVM)%20es,reconocimiento%20de%20imgenes%20y%20voz.] [35] T. Borgi et al., “Data analytics for predictive maintenance of industrial robots,” en *2017 International Conference on Advanced Systems and Electric Technologies (IC_ASET)*, 2017, pp. 412-417. [36] IBM, “Algoritmo de k vecinos más cercanos,” IBM, 2024. [Enlace: https://www.ibm.com/es-es/topics/knn] [37] scikit-learn, “Árboles de decisión,” 2024. [Enlace: https://scikit-learn.org/stable/modules/tree.html] [38] IBM, “Random forest,” IBM, 2024. [Enlace: https://www.ibm.com/topics/random-forest#:~:text=Random%20forest%20is%20a%20commonly,Decision%20trees] [39] F. Reyes, *Robótica: Control de robots manipuladores*, 1st ed. Alfaomega, 2011, p. 211. [40] A. Barrientos, L. F. Peñín, C. Balaguer, y R. Aracil, *Fundamentos de robótica*, 2nd ed., McGraw-Hill/Interamericana, 2024, pp. 120-124. [41] F. Reyes, *Robótica: Control de robots manipuladores*, 1st ed. Alfaomega, 2011, p. 213. [42] A. Barrientos, L. F. Peñín, C. Balaguer, y R. Aracil, *Fundamentos de robótica*, 2nd ed., McGraw-Hill/Interamericana, 2024, pp. 120-124. [43] Gazebo, “Acerca de Gazebo,” 2024. [Enlace: https://gazebosim.org/about] [44] C. C. Cuevas Castañeda, “Ros-Gazebo: Una valiosa herramienta de vanguardia para el desarrollo de la robótica,” Escuela de Ciencias Básicas Tecnología e Ingeniería, Universidad Nacional Abierta y a Distancia, 2024. [45] Gazebo, “Showcase,” 2024. [Enlace: https://gazebosim.org/showcase] [46] Coppelia Robotics, “Coppelia Robotics,” 2024. [Enlace: https://www.coppeliarobotics.com] [47] MathWorks, “CoppeliaSim,” 2024. [Enlace: https://la.mathworks.com/products/connections/product_detail/coppeliasim.html] [48] E. Rohmer, S. P. N. Singh, y M. Freese, “CoppeliaSim (formerly V-REP): A versatile and scalable robot simulation framework,” en *Actas de la Conferencia Internacional sobre Robots Inteligentes y Sistemas (IROS)*, 2013. [Enlace: www.coppeliarobotics.com] [49] O. Michel, “Webots: simulación profesional de robots móviles,” *Journal of Advanced Robotics Systems*, vol. 1, no. 1, pp. 39-42, 2004. [Enlace: http://www.ars-journal.com/International-Journal-of-Advanced-Robotic-Systems/Volume-1/39-42.pdf] [50] MathWorks, “Webots [Página del producto],” 2024. [Enlace: https://la.mathworks.com/products/connections/product_detail/webots.html] [51] MathWorks, “Robotics System Toolbox,” 2024. [Enlace: https://la.mathworks.com/products/robotics.html] [52] MathWorks, “Robot pick-and-place utilizando el planificador de trayectorias [Imagen],” 2024. [Enlace: https://la.mathworks.com/products/robotics.html] [53] KUKA, “KUKA.Sim,” 2024. [Enlace: https://www.kuka.com/es-es/productos-servicios/sistemas-de-robot/software/planificación-proyección-servicio-seguridad/kuka,-d-,sim] [54] A. Kapitanov, K. Kvanchiani, A. Nagaev, R. Kraynov, y A. Makhliarchuk, “HaGRID - HAnd Gesture Recognition Image Dataset,” arXiv, 2024. [Enlace: https://arxiv.org/abs/2206.08219] [55] Niryo, “IA Vision Training: Niryo integra herramientas de visión con su Ned2 [Imagen],” 2024. [Enlace: https://niryo.com/application/ia-vision-training/] [56] J. Almeida y D. Rosa, “Direct and Inverse Kinematics of Serial Manipulators (Niryo One 6-axis Robotic Arm),” Instituto Superior Técnico, 2021. [57] M. Á. Ezquerro Ezquerro, “Robot didáctico de bajo coste,” Universidad de La Rioja, Escuela Técnica Superior de Ingeniería Industrial, 2022. |
| dc.rights.spa.fl_str_mv |
Derechos reservados - Universidad Autónoma de Occidente, 202 |
| dc.rights.coar.fl_str_mv |
http://purl.org/coar/access_right/c_abf2 |
| dc.rights.uri.spa.fl_str_mv |
https://creativecommons.org/licenses/by-nc-nd/4.0/ |
| dc.rights.accessrights.eng.fl_str_mv |
info:eu-repo/semantics/openAccess |
| dc.rights.creativecommons.eng.fl_str_mv |
Atribución-NoComercial-SinDerivadas 4.0 Internacional (CC BY-NC-ND 4.0) |
| rights_invalid_str_mv |
Derechos reservados - Universidad Autónoma de Occidente, 202 https://creativecommons.org/licenses/by-nc-nd/4.0/ Atribución-NoComercial-SinDerivadas 4.0 Internacional (CC BY-NC-ND 4.0) http://purl.org/coar/access_right/c_abf2 |
| eu_rights_str_mv |
openAccess |
| dc.format.extent.spa.fl_str_mv |
96 páginas |
| dc.format.mimetype.none.fl_str_mv |
application/pdf |
| dc.publisher.spa.fl_str_mv |
Universidad Autónoma de Occidente |
| dc.publisher.program.spa.fl_str_mv |
Ingeniería Mecatrónica |
| dc.publisher.faculty.spa.fl_str_mv |
Facultad de Ingeniería |
| dc.publisher.place.spa.fl_str_mv |
Cali |
| institution |
Universidad Autónoma de Occidente |
| bitstream.url.fl_str_mv |
https://red.uao.edu.co/bitstreams/5e2e452d-a3e0-461e-aee1-bc391efeecef/download https://red.uao.edu.co/bitstreams/8e7cb2d1-a6aa-4610-8a7b-4e6ec19281b7/download https://red.uao.edu.co/bitstreams/596ded8d-0d9b-44a2-8f71-198c907da63b/download https://red.uao.edu.co/bitstreams/b21a84c3-fa30-433c-9845-eeff1fbbb318/download https://red.uao.edu.co/bitstreams/dd760a1c-2ac0-434a-9bb2-f9f526f39a43/download https://red.uao.edu.co/bitstreams/29cf085f-28ab-41c8-822e-ab9eb55c0435/download https://red.uao.edu.co/bitstreams/14489e87-05a8-4eb3-88c4-5c7ae11df039/download |
| bitstream.checksum.fl_str_mv |
93331363ac265dc243b2d8c861c8c193 800294fc92f5d04fdb0f02e5cc6ad1a5 6987b791264a2b5525252450f99b10d1 ca1e1afc400a1957a15c01d76ec2513e eb09237b8ce9ee2e8134606fd6dd71a9 543cba370778be7702e6d863fd0a7482 f0941b14a9a898a89592966645baaaf7 |
| bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 MD5 MD5 MD5 |
| repository.name.fl_str_mv |
Repositorio Digital Universidad Autonoma de Occidente |
| repository.mail.fl_str_mv |
repositorio@uao.edu.co |
| _version_ |
1831928635115700224 |
| spelling |
López Sotelo, Jesús Alfonsovirtual::5825-1Ramírez Silva, Miguel ÁngelUniversidad Autónoma de OccidenteCastillo, Javier Ferney2024-11-25T15:18:14Z2024-11-25T15:18:14Z2024-11-05Ramírez Silva, M. A. (2024). Manipulación de un brazo robótico mediante gestos de la mano utilizando inteligencia artificial. (Proyecto de grado). Universidad Autónoma de Occidente. Cali. Colombiahttps://hdl.handle.net/10614/15920Universidad Autónoma de OccidenteRespositorio Educativo Digital UAOhttps://red.uao.edu.co/La manipulación de dispositivos robóticos mediante gestos capturados por cámaras es una técnica prometedora dentro de la interacción hombre máquina. Este método de interacción presenta diversos desafíos técnicos que incluyen la precisión en la identificación de los gestos debido a la variabilidad anatómica de las manos y las condiciones ambientales y de luz que afectan la calidad de la detección. Este proyecto busca desarrollar un sistema de manipulación de un brazo robótico utilizando inteligencia artificial que permita una interpretación correcta de los gestos que no se vea limitada a las condiciones de luz, ambigüedad anatómica. El desarrollo del proyecto se llevó a cabo por medio de cuatro etapas. La primera consiste en el desarrollo de un dataset de entrenamiento para los modelos de inteligencia artificial, para lo cual se tomó una muestra de un dataset existente y se construyó uno nuevo que cumpliera las necesidades del proyecto. Seguidamente se procede a la selección de algoritmos de inteligencia artificial y su respectivo entrenamiento enfocado en la detección de gestos de la mano en tiempo real usando estimación de pose. Este algoritmo se probó en condiciones de luz variables y a diferentes distancias de detección para lograr una validación del funcionamiento. Una vez entrenado el modelo de reconocimiento se procede a la creación de rutinas específicas de pick and place usando CoppeliaSim y el robot Niryo One. Las rutinas son basadas en la recolección de cinco tipos diferentes de objetos distribuidos en un entorno controlado que simula la categorización de objetos de forma manual usando un robot de seis grados de libertad. Finalmente, tras la implementación de las rutinas se realizó una integración de los subsistemas de inteligencia artificial y robótica para el ajuste la interacción del modelo con el reconocimiento de gestos y la ejecución de tareas para poder finalizar haciendo pruebas de funcionamiento y validación donde se encontró que el sistema es confiable para su uso en tiempo real y muestra un buen desempeño en la identificación de los gestos de control como en la ejecución de las rutinas teniendo pocos fallos en múltiples repeticiones.The manipulation of robotic devices through gestures captured by cameras is a promising technique within human-machine interaction. This interaction method presents several technical challenges, including the accuracy in gesture recognition due to the anatomical variability of hands and environmental and lighting conditions that affect detection quality. This project aims to develop a robotic arm manipulation system using artificial intelligence to enable accurate gesture interpretation that is not limited by lighting conditions or anatomical ambiguity. The system intends to effectively respond to predetermined tasks, offering an alternative solution for human-machine interaction. The project was developed through four stages. The first stage involved creating a training dataset for the artificial intelligence models, where a sample from an existing dataset was used, and a new dataset was built to meet the project’s needs. The second stage focused on selecting artificial intelligence algorithms and training them for real-time hand gesture detection using pose estimation. The algorithm was tested under variable lighting conditions and at different detection distances to validate its functionality. Once the recognition model was trained, specific pick-and-place routines were developed using CoppeliaSim and the Niryo One robot. These routines were based on collecting five different types of objects distributed in a controlled environment, simulating manual object categorization using a robot with six degrees of freedom. Finally, after implementing the routines, the AI and robotics subsystems were integrated to fine-tune the interaction between gesture recognition and task execution. Testing and validation showed that the system is reliable for real-time use and performs well in identifying control gestures as well as executing routines, with few errors in multiple repetitionsProyecto de grado (Ingeniero Mecatrónico)-- Universidad Autónoma de Occidente, 2024PregradoIngeniero(a) Mecatrónico(a)96 páginasapplication/pdfspaUniversidad Autónoma de OccidenteIngeniería MecatrónicaFacultad de IngenieríaCaliDerechos reservados - Universidad Autónoma de Occidente, 202https://creativecommons.org/licenses/by-nc-nd/4.0/info:eu-repo/semantics/openAccessAtribución-NoComercial-SinDerivadas 4.0 Internacional (CC BY-NC-ND 4.0)http://purl.org/coar/access_right/c_abf2Manipulación de un brazo robótico mediante gestos de la mano utilizando inteligencia artificialTrabajo de grado - Pregradohttp://purl.org/coar/resource_type/c_7a1fTextinfo:eu-repo/semantics/bachelorThesishttp://purl.org/redcol/resource_type/TPinfo:eu-repo/semantics/publishedVersionhttp://purl.org/coar/version/c_970fb48d4fbd8a85[1] Real Academia Española, «“Diccionario de la lengua española” - Edición del Tricentenario».[2] L. Cortés-Rico y G. Piedrahita-Solórzano, "Interacciones basadas en gestos: revisión crítica," Tecnológicas, vol. 22, pp. 119–132, 2019. doi: https://doi.org/10.22430/22565337.1512.[3] D. A. Norman, "Natural user interfaces are not natural," Interactions, vol. 17, no. 3, pp. 6-10, May 2010. doi: https://doi.org/10.1145/1744161.1744163.[4] M. Matilainen, P. Sangi, J. Holappa, y O. Silvén, "OUHANDS database for hand detection and pose recognition," en 2016 Sixth International Conference on Image Processing Theory, Tools and Applications (IPTA), Oulu, 2016, pp. 1-5. doi: 10.1109/IPTA.2016.7821025.[5] T. Grzejszczak, M. Kawulok, y A. Galuszka, "Hand landmarks detection and localization in color images," Multimed. Tools Appl., vol. 75, pp. 16363–16387, 2016. doi: https://doi.org/10.1007/s11042-015-2934-5.[6] P. Ponsa, C. Urbina, C. Manresa-Yee, y R. Vilanova, "Estudio de Usabilidad de una Interfaz Gestual Basada en Visión," Revista FAZ, vol. 8, pp. 99-119, 2015. Disponible: http://www.revistafaz.org/n8/6-interfazgestual.pdf.[7] M. Oudah, A. Al-Naji, y J.S. Chahl, "Hand Gesture Recognition Based on Computer Vision: A Review of Techniques," J. Imaging, vol. 6, 2020.[8] A. Agrawal, N. Jadhav, A. Gaur, S. Jeswani, y A. Kshirsagar, "Improving the Accuracy of Object Detection in Low Light Conditions using Multiple Retinex Theory-based Image Enhancement Algorithms," in 2022 Second International Conference on Advances en Electrical, Computing, Communication and Sustainable Technologies (ICAECT), Bhilai, India, 2022, pp. 1-5. doi: 10.1109/ICAECT54875.2022.9808011.[9] S. Panesar, Y. Cagle, D. Chander, J. Morey, J. Fernandez-Miranda, y M. Kliot, "Artificial intelligence and the future of surgical robotics," Ann. Surg., pp. 223-226, 2019.[10] R. Belk, "Ethical issues in service robotics and artificial intelligence," Serv. Ind. J., vol. 41, pp. 860-876, 2021.[11] OpenWebinars, "Datasets: Qué son y cómo acceder a ellos," OpenWebinars. Accedido: Sep. 5, 2024. [En línea ]. Disponible: https://openwebinars.net/blog/datasets-que-son-y-como-acceder-a-ellos/.[12] Viso.AI, "Human Pose Estimation with Deep Learning – Ultimate Overview en 2024," Viso.AI. Accedido: Sep. 5, 2024. [En línea]. Disponible: https://viso.ai/deep-learning/pose-estimation-ultimate-overview/.[13] Viso.AI, "Real-time full body pose estimation in construction – built with Viso Suite," Viso.AI. Accedido: Sep. 5, 2024. [En línea]. Disponible: https://viso.ai/deep-learning/pose-estimation-ultimate-overview/.[14] O. Chernytska, "Gentle introduction to 2D hand pose estimation approach explained," Towards Data Science. [En línea ]. Disponible: https://towardsdatascience.com/gentle-introduction-to-2d-hand-pose-estimation-approach-explained-4348d6d79b11.[15] IBM, "Aprendizaje supervisado," IBM. Accedido: Sep. 5, 2024. [En línea]. Disponible: https://www.ibm.com/mx-es/topics/supervised-learning.[16] Robotnik, "Guía completa de robots manipuladores: Ventajas y aplicaciones," Robotnik. Accedido: Sep. 5, 2024. [En línea ]. Disponible: https://robotnik.eu/es/guia-completa-de-robots-manipuladores-ventajas-y-aplicaciones/#:~:text=Los%20robots%20manipuladores%20son%20sistemas.[17] Kuka, "KR Cybertech," Kuka. Accedido: Sep. 5, 2024. [En línea ]. Disponible: https://www.kuka.com/es-mx/productos-servicios/sistemas-de-robot/robot-industrial/kr-cybertech.[18] J. Tompson, M. Stein, Y. LeCun, and K. Perlin, "Real-time continuous pose recovery of human hands using convolutional networks," ACM Trans. Graph., vol. 33, 2014. doi: https://doi.org/10.1145/2601097.2601128.[19] H. Guo, G. Wang, X. Chen, y C. Zhang, "Towards good practices for deep 3d hand pose estimation," arXiv preprint arXiv:1707.07248, 2017.[20] Q. Chen, X. Sun, Y. Wei, X. Tang, y J. Sun, "3D Hand Shape and Pose Estimation from a Single RGB Image," en Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2014, pp. 1106-1113.[21] G. García-Hernando, S. Yuan, S. Baek, y T.-K. Kim, "First-person hand action benchmark with RGB-D videos and 3D hand pose annotations," en Actas de la Conferencia de Visión por Computadora y Reconocimiento de Patrones (CVPR), 2018.[22] G. Moon, S.-I. Yu, H. Wen, T. Shiratori, y K. M. Lee, "InterHand2.6M: A dataset and baseline for 3D interacting hand pose estimation from a single RGB image," 2020.[23] A. Kapitanov, K. Kvanchiani, A. Nagaev, R. Kraynov, y A. Makhliarchuk, "HaGRID- HAnd Gesture Recognition Image Dataset," 2024. [En línea ]. Disponible: https://arxiv.org/abs/2206.08219.[24] S. Jin, L. Xu, J. Xu, C. Wang, W. Liu, C. Qian, W. Ouyang, y P. Luo, "Whole-body human pose estimation in the wild," en Actas de la Conferencia Europea sobre Visión por Computadora (ECCV), 2020.[25] Z. Cao, G. Hidalgo, T. Simon, S.-E. Wei, y Y. Sheikh, "OpenPose: Realtime multi-person 2D pose estimation using part affinity fields," 2018.[26] Google, "MediaPipe Hand Landmarker," Google AI. Accedido: Sep. 6, 2024. [En línea ]. Disponible: https://ai.google.dev/edge/mediapipe/solutions/vision/hand_landmarker.[27] V. Dibia, "Handtrack.js [Repositorio de GitHub]," GitHub. Accedido: Sep. 6, 2024. [En línea ]. Disponible: https://github.com/victordibia/handtrack.js?tab=readme-ov-file.[28] V. Dibia, "Handtrack.js," [imagen]. Accedido: Sep. 6, 2024. [En línea ]. Disponible: https://victordibia.com/handtrack.js/#/.[29] The MathWorks, Inc., Mastering Machine Learning: A Step-by-Step Guide with MATLAB. The MathWorks, Inc., 2019.[30] IBM, "Cómo funciona el aprendizaje supervisado," IBM. Accedido: Sep. 6, 2024. [En línea ]. Disponible: https://www.ibm.com/es-es/topics/supervised-learning#:~:text=El%20aprendizaje%20supervisado%2C%20también%20conocido,predicen%20los%20resultados%20con%20precisión.[31] J. A. López Sotelo, Deep Learning: Teoría y aplicaciones. Alpha Editorial. Alfaomega Colombiana S.A., ISBN 978-958-778-686-6.[32] IBM, "Redes neuronales," IBM. Accedido: Sep. 6, 2024. [En línea ]. Disponible: https://www.ibm.com/es-es/topics/neural-networks.[33] Amazon Web Services, "Arquitectura de una red neuronal profunda [Imagen]," AWS. Accedido: Sep. 7, 2024. [En línea ]. Disponible: https://aws.amazon.com/es/what-is/neural-network/.[34] MathWorks, “Introducción a Support Vector Machine (SVM),” MathWorks, 2024. [Enlace: https://la.mathworks.com/discovery/support-vector-machine.html#:~:text=Support%20vector%20machine%20(SVM)%20es,reconocimiento%20de%20imgenes%20y%20voz.][35] T. Borgi et al., “Data analytics for predictive maintenance of industrial robots,” en *2017 International Conference on Advanced Systems and Electric Technologies (IC_ASET)*, 2017, pp. 412-417.[36] IBM, “Algoritmo de k vecinos más cercanos,” IBM, 2024. [Enlace: https://www.ibm.com/es-es/topics/knn][37] scikit-learn, “Árboles de decisión,” 2024. [Enlace: https://scikit-learn.org/stable/modules/tree.html][38] IBM, “Random forest,” IBM, 2024. [Enlace: https://www.ibm.com/topics/random-forest#:~:text=Random%20forest%20is%20a%20commonly,Decision%20trees][39] F. Reyes, *Robótica: Control de robots manipuladores*, 1st ed. Alfaomega, 2011, p. 211.[40] A. Barrientos, L. F. Peñín, C. Balaguer, y R. Aracil, *Fundamentos de robótica*, 2nd ed., McGraw-Hill/Interamericana, 2024, pp. 120-124.[41] F. Reyes, *Robótica: Control de robots manipuladores*, 1st ed. Alfaomega, 2011, p. 213.[42] A. Barrientos, L. F. Peñín, C. Balaguer, y R. Aracil, *Fundamentos de robótica*, 2nd ed., McGraw-Hill/Interamericana, 2024, pp. 120-124.[43] Gazebo, “Acerca de Gazebo,” 2024. [Enlace: https://gazebosim.org/about][44] C. C. Cuevas Castañeda, “Ros-Gazebo: Una valiosa herramienta de vanguardia para el desarrollo de la robótica,” Escuela de Ciencias Básicas Tecnología e Ingeniería, Universidad Nacional Abierta y a Distancia, 2024.[45] Gazebo, “Showcase,” 2024. [Enlace: https://gazebosim.org/showcase][46] Coppelia Robotics, “Coppelia Robotics,” 2024. [Enlace: https://www.coppeliarobotics.com][47] MathWorks, “CoppeliaSim,” 2024. [Enlace: https://la.mathworks.com/products/connections/product_detail/coppeliasim.html][48] E. Rohmer, S. P. N. Singh, y M. Freese, “CoppeliaSim (formerly V-REP): A versatile and scalable robot simulation framework,” en *Actas de la Conferencia Internacional sobre Robots Inteligentes y Sistemas (IROS)*, 2013. [Enlace: www.coppeliarobotics.com][49] O. Michel, “Webots: simulación profesional de robots móviles,” *Journal of Advanced Robotics Systems*, vol. 1, no. 1, pp. 39-42, 2004. [Enlace: http://www.ars-journal.com/International-Journal-of-Advanced-Robotic-Systems/Volume-1/39-42.pdf][50] MathWorks, “Webots [Página del producto],” 2024. [Enlace: https://la.mathworks.com/products/connections/product_detail/webots.html][51] MathWorks, “Robotics System Toolbox,” 2024. [Enlace: https://la.mathworks.com/products/robotics.html][52] MathWorks, “Robot pick-and-place utilizando el planificador de trayectorias [Imagen],” 2024. [Enlace: https://la.mathworks.com/products/robotics.html][53] KUKA, “KUKA.Sim,” 2024. [Enlace: https://www.kuka.com/es-es/productos-servicios/sistemas-de-robot/software/planificación-proyección-servicio-seguridad/kuka,-d-,sim][54] A. Kapitanov, K. Kvanchiani, A. Nagaev, R. Kraynov, y A. Makhliarchuk, “HaGRID - HAnd Gesture Recognition Image Dataset,” arXiv, 2024. [Enlace: https://arxiv.org/abs/2206.08219][55] Niryo, “IA Vision Training: Niryo integra herramientas de visión con su Ned2 [Imagen],” 2024. [Enlace: https://niryo.com/application/ia-vision-training/][56] J. Almeida y D. Rosa, “Direct and Inverse Kinematics of Serial Manipulators (Niryo One 6-axis Robotic Arm),” Instituto Superior Técnico, 2021.[57] M. Á. Ezquerro Ezquerro, “Robot didáctico de bajo coste,” Universidad de La Rioja, Escuela Técnica Superior de Ingeniería Industrial, 2022.Ingeniería mecatrónicaInteligencia artificialReconocimiento de gestos de la manoManipulación robóticaInteracción Hombre-MáquinaArtificial intelligenceHand gesture recognitionRobotic ManipulationHuman-machine interactionComunidad generalPublicationhttps://scholar.google.com.au/citations?user=7PIjh_MAAAAJ&hl=envirtual::5825-10000-0002-9731-8458virtual::5825-1https://scienti.minciencias.gov.co/cvlac/visualizador/generarCurriculoCv.do?cod_rh=0000249106virtual::5825-1fc227fb1-22ec-47f0-afe7-521c61fddd32virtual::5825-1fc227fb1-22ec-47f0-afe7-521c61fddd32virtual::5825-1ORIGINALT11268_Manipulación de un brazo robótico mediante gestos de la mano utilizando inteligencia artificial.pdfT11268_Manipulación de un brazo robótico mediante gestos de la mano utilizando inteligencia artificial.pdfArchivo texto completo del trabajo de grado, PDFapplication/pdf2903613https://red.uao.edu.co/bitstreams/5e2e452d-a3e0-461e-aee1-bc391efeecef/download93331363ac265dc243b2d8c861c8c193MD51TA11268_Autorización trabajo de grado.pdfTA11268_Autorización trabajo de grado.pdfAutorización para publicación del trabajo de gradoapplication/pdf300335https://red.uao.edu.co/bitstreams/8e7cb2d1-a6aa-4610-8a7b-4e6ec19281b7/download800294fc92f5d04fdb0f02e5cc6ad1a5MD52LICENSElicense.txtlicense.txttext/plain; charset=utf-81672https://red.uao.edu.co/bitstreams/596ded8d-0d9b-44a2-8f71-198c907da63b/download6987b791264a2b5525252450f99b10d1MD53TEXTT11268_Manipulación de un brazo robótico mediante gestos de la mano utilizando inteligencia artificial.pdf.txtT11268_Manipulación de un brazo robótico mediante gestos de la mano utilizando inteligencia artificial.pdf.txtExtracted texttext/plain101836https://red.uao.edu.co/bitstreams/b21a84c3-fa30-433c-9845-eeff1fbbb318/downloadca1e1afc400a1957a15c01d76ec2513eMD54TA11268_Autorización trabajo de grado.pdf.txtTA11268_Autorización trabajo de grado.pdf.txtExtracted texttext/plain4477https://red.uao.edu.co/bitstreams/dd760a1c-2ac0-434a-9bb2-f9f526f39a43/downloadeb09237b8ce9ee2e8134606fd6dd71a9MD56THUMBNAILT11268_Manipulación de un brazo robótico mediante gestos de la mano utilizando inteligencia artificial.pdf.jpgT11268_Manipulación de un brazo robótico mediante gestos de la mano utilizando inteligencia artificial.pdf.jpgGenerated Thumbnailimage/jpeg6715https://red.uao.edu.co/bitstreams/29cf085f-28ab-41c8-822e-ab9eb55c0435/download543cba370778be7702e6d863fd0a7482MD55TA11268_Autorización trabajo de grado.pdf.jpgTA11268_Autorización trabajo de grado.pdf.jpgGenerated Thumbnailimage/jpeg13913https://red.uao.edu.co/bitstreams/14489e87-05a8-4eb3-88c4-5c7ae11df039/downloadf0941b14a9a898a89592966645baaaf7MD5710614/15920oai:red.uao.edu.co:10614/159202024-11-26 03:00:54.712https://creativecommons.org/licenses/by-nc-nd/4.0/Derechos reservados - Universidad Autónoma de Occidente, 202open.accesshttps://red.uao.edu.coRepositorio Digital Universidad Autonoma de Occidenterepositorio@uao.edu.coPHA+RUwgQVVUT1IgYXV0b3JpemEgYSBsYSBVbml2ZXJzaWRhZCBBdXTDs25vbWEgZGUgT2NjaWRlbnRlLCBkZSBmb3JtYSBpbmRlZmluaWRhLCBwYXJhIHF1ZSBlbiBsb3MgdMOpcm1pbm9zIGVzdGFibGVjaWRvcyBlbiBsYSBMZXkgMjMgZGUgMTk4MiwgbGEgTGV5IDQ0IGRlIDE5OTMsIGxhIERlY2lzacOzbiBhbmRpbmEgMzUxIGRlIDE5OTMsIGVsIERlY3JldG8gNDYwIGRlIDE5OTUgeSBkZW3DoXMgbGV5ZXMgeSBqdXJpc3BydWRlbmNpYSB2aWdlbnRlIGFsIHJlc3BlY3RvLCBoYWdhIHB1YmxpY2FjacOzbiBkZSBlc3RlIGNvbiBmaW5lcyBlZHVjYXRpdm9zLiBQQVJBR1JBRk86IEVzdGEgYXV0b3JpemFjacOzbiBhZGVtw6FzIGRlIHNlciB2w6FsaWRhIHBhcmEgbGFzIGZhY3VsdGFkZXMgeSBkZXJlY2hvcyBkZSB1c28gc29icmUgbGEgb2JyYSBlbiBmb3JtYXRvIG8gc29wb3J0ZSBtYXRlcmlhbCwgdGFtYmnDqW4gcGFyYSBmb3JtYXRvIGRpZ2l0YWwsIGVsZWN0csOzbmljbywgdmlydHVhbCwgcGFyYSB1c29zIGVuIHJlZCwgSW50ZXJuZXQsIGV4dHJhbmV0LCBpbnRyYW5ldCwgYmlibGlvdGVjYSBkaWdpdGFsIHkgZGVtw6FzIHBhcmEgY3VhbHF1aWVyIGZvcm1hdG8gY29ub2NpZG8gbyBwb3IgY29ub2Nlci4gRUwgQVVUT1IsIGV4cHJlc2EgcXVlIGVsIGRvY3VtZW50byAodHJhYmFqbyBkZSBncmFkbywgcGFzYW50w61hLCBjYXNvcyBvIHRlc2lzKSBvYmpldG8gZGUgbGEgcHJlc2VudGUgYXV0b3JpemFjacOzbiBlcyBvcmlnaW5hbCB5IGxhIGVsYWJvcsOzIHNpbiBxdWVicmFudGFyIG5pIHN1cGxhbnRhciBsb3MgZGVyZWNob3MgZGUgYXV0b3IgZGUgdGVyY2Vyb3MsIHkgZGUgdGFsIGZvcm1hLCBlbCBkb2N1bWVudG8gKHRyYWJham8gZGUgZ3JhZG8sIHBhc2FudMOtYSwgY2Fzb3MgbyB0ZXNpcykgZXMgZGUgc3UgZXhjbHVzaXZhIGF1dG9yw61hIHkgdGllbmUgbGEgdGl0dWxhcmlkYWQgc29icmUgw6lzdGUuIFBBUkFHUkFGTzogZW4gY2FzbyBkZSBwcmVzZW50YXJzZSBhbGd1bmEgcmVjbGFtYWNpw7NuIG8gYWNjacOzbiBwb3IgcGFydGUgZGUgdW4gdGVyY2VybywgcmVmZXJlbnRlIGEgbG9zIGRlcmVjaG9zIGRlIGF1dG9yIHNvYnJlIGVsIGRvY3VtZW50byAoVHJhYmFqbyBkZSBncmFkbywgUGFzYW50w61hLCBjYXNvcyBvIHRlc2lzKSBlbiBjdWVzdGnDs24sIEVMIEFVVE9SLCBhc3VtaXLDoSBsYSByZXNwb25zYWJpbGlkYWQgdG90YWwsIHkgc2FsZHLDoSBlbiBkZWZlbnNhIGRlIGxvcyBkZXJlY2hvcyBhcXXDrSBhdXRvcml6YWRvczsgcGFyYSB0b2RvcyBsb3MgZWZlY3RvcywgbGEgVW5pdmVyc2lkYWQgIEF1dMOzbm9tYSBkZSBPY2NpZGVudGUgYWN0w7phIGNvbW8gdW4gdGVyY2VybyBkZSBidWVuYSBmZS4gVG9kYSBwZXJzb25hIHF1ZSBjb25zdWx0ZSB5YSBzZWEgZW4gbGEgYmlibGlvdGVjYSBvIGVuIG1lZGlvIGVsZWN0csOzbmljbyBwb2Ryw6EgY29waWFyIGFwYXJ0ZXMgZGVsIHRleHRvIGNpdGFuZG8gc2llbXByZSBsYSBmdWVudGUsIGVzIGRlY2lyIGVsIHTDrXR1bG8gZGVsIHRyYWJham8geSBlbCBhdXRvci4gRXN0YSBhdXRvcml6YWNpw7NuIG5vIGltcGxpY2EgcmVudW5jaWEgYSBsYSBmYWN1bHRhZCBxdWUgdGllbmUgRUwgQVVUT1IgZGUgcHVibGljYXIgdG90YWwgbyBwYXJjaWFsbWVudGUgbGEgb2JyYS48L3A+Cg== |