Implementación de un sistema de interacción humano-máquina que emplee lenguaje multimodal en una plataforma robótica basada en ROS.

El presente proyecto busca hacer un aporte en la investigación y mejora sobre la comunicación humano-máquina, con el fin de poder tener una conversación mucho más fluida y natural en la cual, la máquina además de tener respuestas acertadas y congruentes con el tema en conversación, tenga movimientos y gestos acordes al estado de animo que se identifique, es decir, que la máquina sea capaz de reconocer si la persona se encuentra en un estado de ánimo exaltado, tranquilo o neutral mientras se está dialogando y respecto a ese reconocimiento de ánimo, los movimientos de sus manos, brazos, torso y demás articulaciones e indicadores que tenga la plataforma robótica, representen la forma en la que se esta llevando la conversación. El proceso inicia con un estado del arte, que permite la compresión y el estudio de varias investigaciones relacionadas con el ambiente de la robótica y la comunicación multimodal, para poder así tener ideas más claras sobre los desarrollos y los puntos importantes para tener en cuenta. También se hace un análisis de las plataformas robóticas que se pueden utilizar con el fin de definir cuál es la más apta respecto a las limitantes en software y hardware. Se procede a realizar el desarrollo y construcción de las herramientas como: la visión que se encarga de recoger las coordenadas de las posturas de las personas, el reconocimiento de voz, el cual convierte el audio en texto y es enviado al análisis de texto (ChatBot) donde se hace un procesamiento de la frase obtenida y da una respuesta acorde. Para tener una comunicación más natural con el humano es necesario que la plataforma realice movimientos corporales, por ende, con la información recolectada con la visión y el análisis de texto, se hace una selección de los movimientos del robot que concuerde con el tipo de conversación.

• Autores: Garzón Alvarez, Nicolás Felipe; Romero Moreno, Juan Camilo
• Tipo de recurso: Trabajo de grado de pregrado
• Fecha de publicación: 2022
• Institución: Universidad Santo Tomás
• Repositorio: Repositorio Institucional USTA
• Idioma: spa
• OAI Identifier: oai:repository.usta.edu.co:11634/47305
• Acceso en línea: http://hdl.handle.net/11634/47305
• Palabra clave: Multimodal; Communication; Robotic platform; ROS; Social robotics; Neural networks; Deep learning; Artificial vision; Face recognition; Pepper; Poppy; Ingeniería Electrónica; Sistemas hombre-máquina; Diálogo hombre-máquina; Multimodal; Comunicación; Plataforma robótica; ROS; Robótica social; Redes neuronales; Aprendizaje profundo; Visión artificial; Reconocimiento facial; Pepper; Poppy
• Rights: openAccess
• License: Atribución-NoComercial-SinDerivadas 2.5 Colombia