Implementación de un sistema de interacción humano-máquina que emplee lenguaje multimodal en una plataforma robótica basada en ROS.

El presente proyecto busca hacer un aporte en la investigación y mejora sobre la comunicación humano-máquina, con el fin de poder tener una conversación mucho más fluida y natural en la cual, la máquina además de tener respuestas acertadas y congruentes con el tema en conversación, tenga movimientos...

Full description

Autores:
Garzón Alvarez, Nicolás Felipe
Romero Moreno, Juan Camilo
Tipo de recurso:
Trabajo de grado de pregrado
Fecha de publicación:
2022
Institución:
Universidad Santo Tomás
Repositorio:
Repositorio Institucional USTA
Idioma:
spa
OAI Identifier:
oai:repository.usta.edu.co:11634/47305
Acceso en línea:
http://hdl.handle.net/11634/47305
Palabra clave:
Multimodal
Communication
Robotic platform
ROS
Social robotics
Neural networks
Deep learning
Artificial vision
Face recognition
Pepper
Poppy
Ingeniería Electrónica
Sistemas hombre-máquina
Diálogo hombre-máquina
Multimodal
Comunicación
Plataforma robótica
ROS
Robótica social
Redes neuronales
Aprendizaje profundo
Visión artificial
Reconocimiento facial
Pepper
Poppy
Rights
openAccess
License
Atribución-NoComercial-SinDerivadas 2.5 Colombia
Description
Summary:El presente proyecto busca hacer un aporte en la investigación y mejora sobre la comunicación humano-máquina, con el fin de poder tener una conversación mucho más fluida y natural en la cual, la máquina además de tener respuestas acertadas y congruentes con el tema en conversación, tenga movimientos y gestos acordes al estado de animo que se identifique, es decir, que la máquina sea capaz de reconocer si la persona se encuentra en un estado de ánimo exaltado, tranquilo o neutral mientras se está dialogando y respecto a ese reconocimiento de ánimo, los movimientos de sus manos, brazos, torso y demás articulaciones e indicadores que tenga la plataforma robótica, representen la forma en la que se esta llevando la conversación. El proceso inicia con un estado del arte, que permite la compresión y el estudio de varias investigaciones relacionadas con el ambiente de la robótica y la comunicación multimodal, para poder así tener ideas más claras sobre los desarrollos y los puntos importantes para tener en cuenta. También se hace un análisis de las plataformas robóticas que se pueden utilizar con el fin de definir cuál es la más apta respecto a las limitantes en software y hardware. Se procede a realizar el desarrollo y construcción de las herramientas como: la visión que se encarga de recoger las coordenadas de las posturas de las personas, el reconocimiento de voz, el cual convierte el audio en texto y es enviado al análisis de texto (ChatBot) donde se hace un procesamiento de la frase obtenida y da una respuesta acorde. Para tener una comunicación más natural con el humano es necesario que la plataforma realice movimientos corporales, por ende, con la información recolectada con la visión y el análisis de texto, se hace una selección de los movimientos del robot que concuerde con el tipo de conversación.