Implementación de un sistema de interacción humano-máquina que emplee lenguaje multimodal en una plataforma robótica basada en ROS.

El presente proyecto busca hacer un aporte en la investigación y mejora sobre la comunicación humano-máquina, con el fin de poder tener una conversación mucho más fluida y natural en la cual, la máquina además de tener respuestas acertadas y congruentes con el tema en conversación, tenga movimientos...

Full description

Autores:
Garzón Alvarez, Nicolás Felipe
Romero Moreno, Juan Camilo
Tipo de recurso:
Trabajo de grado de pregrado
Fecha de publicación:
2022
Institución:
Universidad Santo Tomás
Repositorio:
Repositorio Institucional USTA
Idioma:
spa
OAI Identifier:
oai:repository.usta.edu.co:11634/47305
Acceso en línea:
http://hdl.handle.net/11634/47305
Palabra clave:
Multimodal
Communication
Robotic platform
ROS
Social robotics
Neural networks
Deep learning
Artificial vision
Face recognition
Pepper
Poppy
Ingeniería Electrónica
Sistemas hombre-máquina
Diálogo hombre-máquina
Multimodal
Comunicación
Plataforma robótica
ROS
Robótica social
Redes neuronales
Aprendizaje profundo
Visión artificial
Reconocimiento facial
Pepper
Poppy
Rights
openAccess
License
Atribución-NoComercial-SinDerivadas 2.5 Colombia
id SANTTOMAS2_77ae89892dd45200fd4c77e4d080dcbd
oai_identifier_str oai:repository.usta.edu.co:11634/47305
network_acronym_str SANTTOMAS2
network_name_str Repositorio Institucional USTA
repository_id_str
dc.title.spa.fl_str_mv Implementación de un sistema de interacción humano-máquina que emplee lenguaje multimodal en una plataforma robótica basada en ROS.
title Implementación de un sistema de interacción humano-máquina que emplee lenguaje multimodal en una plataforma robótica basada en ROS.
spellingShingle Implementación de un sistema de interacción humano-máquina que emplee lenguaje multimodal en una plataforma robótica basada en ROS.
Multimodal
Communication
Robotic platform
ROS
Social robotics
Neural networks
Deep learning
Artificial vision
Face recognition
Pepper
Poppy
Ingeniería Electrónica
Sistemas hombre-máquina
Diálogo hombre-máquina
Multimodal
Comunicación
Plataforma robótica
ROS
Robótica social
Redes neuronales
Aprendizaje profundo
Visión artificial
Reconocimiento facial
Pepper
Poppy
title_short Implementación de un sistema de interacción humano-máquina que emplee lenguaje multimodal en una plataforma robótica basada en ROS.
title_full Implementación de un sistema de interacción humano-máquina que emplee lenguaje multimodal en una plataforma robótica basada en ROS.
title_fullStr Implementación de un sistema de interacción humano-máquina que emplee lenguaje multimodal en una plataforma robótica basada en ROS.
title_full_unstemmed Implementación de un sistema de interacción humano-máquina que emplee lenguaje multimodal en una plataforma robótica basada en ROS.
title_sort Implementación de un sistema de interacción humano-máquina que emplee lenguaje multimodal en una plataforma robótica basada en ROS.
dc.creator.fl_str_mv Garzón Alvarez, Nicolás Felipe
Romero Moreno, Juan Camilo
dc.contributor.advisor.none.fl_str_mv Amaya, Sindy Paola
Mateus, Armando
dc.contributor.author.none.fl_str_mv Garzón Alvarez, Nicolás Felipe
Romero Moreno, Juan Camilo
dc.contributor.corporatename.spa.fl_str_mv Universidad Santo Tomás
dc.subject.keyword.spa.fl_str_mv Multimodal
Communication
Robotic platform
ROS
Social robotics
Neural networks
Deep learning
Artificial vision
Face recognition
Pepper
Poppy
topic Multimodal
Communication
Robotic platform
ROS
Social robotics
Neural networks
Deep learning
Artificial vision
Face recognition
Pepper
Poppy
Ingeniería Electrónica
Sistemas hombre-máquina
Diálogo hombre-máquina
Multimodal
Comunicación
Plataforma robótica
ROS
Robótica social
Redes neuronales
Aprendizaje profundo
Visión artificial
Reconocimiento facial
Pepper
Poppy
dc.subject.lemb.spa.fl_str_mv Ingeniería Electrónica
Sistemas hombre-máquina
Diálogo hombre-máquina
dc.subject.proposal.spa.fl_str_mv Multimodal
Comunicación
Plataforma robótica
ROS
Robótica social
Redes neuronales
Aprendizaje profundo
Visión artificial
Reconocimiento facial
Pepper
Poppy
description El presente proyecto busca hacer un aporte en la investigación y mejora sobre la comunicación humano-máquina, con el fin de poder tener una conversación mucho más fluida y natural en la cual, la máquina además de tener respuestas acertadas y congruentes con el tema en conversación, tenga movimientos y gestos acordes al estado de animo que se identifique, es decir, que la máquina sea capaz de reconocer si la persona se encuentra en un estado de ánimo exaltado, tranquilo o neutral mientras se está dialogando y respecto a ese reconocimiento de ánimo, los movimientos de sus manos, brazos, torso y demás articulaciones e indicadores que tenga la plataforma robótica, representen la forma en la que se esta llevando la conversación. El proceso inicia con un estado del arte, que permite la compresión y el estudio de varias investigaciones relacionadas con el ambiente de la robótica y la comunicación multimodal, para poder así tener ideas más claras sobre los desarrollos y los puntos importantes para tener en cuenta. También se hace un análisis de las plataformas robóticas que se pueden utilizar con el fin de definir cuál es la más apta respecto a las limitantes en software y hardware. Se procede a realizar el desarrollo y construcción de las herramientas como: la visión que se encarga de recoger las coordenadas de las posturas de las personas, el reconocimiento de voz, el cual convierte el audio en texto y es enviado al análisis de texto (ChatBot) donde se hace un procesamiento de la frase obtenida y da una respuesta acorde. Para tener una comunicación más natural con el humano es necesario que la plataforma realice movimientos corporales, por ende, con la información recolectada con la visión y el análisis de texto, se hace una selección de los movimientos del robot que concuerde con el tipo de conversación.
publishDate 2022
dc.date.accessioned.none.fl_str_mv 2022-09-22T19:29:13Z
dc.date.available.none.fl_str_mv 2022-09-22T19:29:13Z
dc.date.issued.none.fl_str_mv 2022-09-22
dc.type.local.spa.fl_str_mv Trabajo de grado
dc.type.version.none.fl_str_mv info:eu-repo/semantics/acceptedVersion
dc.type.coar.none.fl_str_mv http://purl.org/coar/resource_type/c_7a1f
dc.type.drive.none.fl_str_mv info:eu-repo/semantics/bachelorThesis
format http://purl.org/coar/resource_type/c_7a1f
status_str acceptedVersion
dc.identifier.citation.spa.fl_str_mv Garzón Alvarez, N. F. y Romero Moreno, J. C. (2022). Implementación de un sistema de interacción humano-máquina que emplee lenguaje multimodal en una plataforma robótica basada en ROS. [Trabajo de grado, Universidad Santo Tomás]. Repositorio institucional.
dc.identifier.uri.none.fl_str_mv http://hdl.handle.net/11634/47305
dc.identifier.reponame.spa.fl_str_mv reponame:Repositorio Institucional Universidad Santo Tomás
dc.identifier.instname.spa.fl_str_mv instname:Universidad Santo Tomás
dc.identifier.repourl.spa.fl_str_mv repourl:https://repository.usta.edu.co
identifier_str_mv Garzón Alvarez, N. F. y Romero Moreno, J. C. (2022). Implementación de un sistema de interacción humano-máquina que emplee lenguaje multimodal en una plataforma robótica basada en ROS. [Trabajo de grado, Universidad Santo Tomás]. Repositorio institucional.
reponame:Repositorio Institucional Universidad Santo Tomás
instname:Universidad Santo Tomás
repourl:https://repository.usta.edu.co
url http://hdl.handle.net/11634/47305
dc.language.iso.spa.fl_str_mv spa
language spa
dc.relation.references.spa.fl_str_mv Juan González E. y Jovani Jiménez Builes. «La robótica como herramienta para la educación en ciencias e ingeniería». En: IE Comunicaciones: Revista Iberoamericana de Informática Educativa 10 (2009), págs. 31-36. ISSN: 1699-4574. URL: http : / / iecom . adie . es / index.php/IECom/article/view/177/165.
StevenWyatt y col. «World Robotics 2019 Preview». En: International Federation of Robotics September (2019), págs. 1-32. URL: https://ifr.org/downloads/press2018/ IFR%20World%20Robotics%20Presentation%20-%2018%20Sept%202019.pdf.
Robotics Online Marketing Team. The Future With Service Robots Draws Nearer | RIA Robotics Blog. 2019. URL: https://www.robotics.org/blog-article.cfm/The- Future-With-Service-Robots-Draws-Nearer/222 (visitado 13-04-2020).
Roger Moore. «From talking and listening robots to intelligent communicative machines ». En: ene. de 2015, págs. 317-344. DOI: 10.1515/9781614514404.315.
Yi Zheng y col. «DEEP LEARNING & NEURAL COMPUTING FOR INTELLIGENT SENSING AND CONTROL Research on motion pattern recognition of exoskeleton robot based on multimodal machine learning model». En: (). DOI: 10.1007/s00521- 019-04567-1. URL: https://doi.org/10.1007/s00521-019-04567-1.
Bannat A. .A Multimodal Human-Robot-Dialog Applying Emotional Feedbacks.Ïn: Ge S.S., Li H., Cabibihan JJ., Tan Y.K. (eds) Social Robotics. ICSR 2010. Lecture Notes in Computer Science, vol 6414. 2010. ISBN: 978-3-642-17248-9. DOI: 10.1007/978-3-642-17248-9_1.
Képesi M. Pucher M. "Multimodal Mobile Robot Control Using Speech Application Language Tags.Ïn: Aarts E., Collier R.W., van Loenen E., de Ruyter B. (eds) Ambient Intelligence. EUSAI 2003. Lecture Notes in Computer Science, vol 2875. 2003. ISBN: 978-3-540-20418-3. DOI: 10. 1007/978-3-540-39863-9_5.
Baier-Lowenstein T. Huser M., Svagusa M. y Zhang J. "Natural Demonstration of Manipulation Skills for Multimodal Interactive Robots.Ïn: Stephanidis C. (eds) Universal Access in Human-Computer Interaction. Ambient Interaction. UAHCI 2007. Lecture Notes in Computer Science, vol 4555. 2007. ISBN: 978-3-540-73280-8. DOI: 10.1007/978-3-540-73281- 5_97.
Drygajlo Prodanov P., A. y J. Richiardi. "Low-level grounding in a multimodal mobile service robot conversational system using graphical models.Ïntel Serv Robotics 1, 3–26. 2008. DOI: 10. 1007/s11370-006-0001-9.
Abe T. Oka T. y Sugita K. "Success rates in a multimodal command language for home robot users..Artif Life Robotics 14, 219. 2009. DOI: 10.1007/s10015-009-0657-2.
Habel C. Elmogy M. y Zhang J. "Multimodal cognitive interface for robot navigation.Çogn Process 12, 53–65. 2011. DOI: 10.1007/s10339-010-0386-4.
Barber D.J. Abich J. "The impact of human–robot multimodal communication on mental workload, usability preference, and expectations of robot behavior."J Multimodal User Interfaces 11, 211–225. 2017. DOI: 10.1007/s12193-016-0237-4.
Thomsen N.B. Tan Z. y Duan X. ïSocioBot: A Multimodal Interactive Social Robot.Ïnt J of Soc Robotics 10, 5–19. 2018. DOI: 10.1007/s12369-017-0426-7.
Weiss A. Tsiourti C. y Wac K. "Multimodal Integration of Emotional Signals from Voice, Body, and Context: Effects of (In)Congruence on Emotion Recognition and Attitudes Towards Robots.Ïnt J of Soc Robotics 11, 555–573. 2019. DOI: 10.1007/s12369-019-00524-z.
Kuchibotla M.R. Ande S.K. y Adavi B.K. Robot acquisition, control and interfacing using multimodal feedback."J Ambient Intell Human Comput. 2020. DOI: 10.1007/s12652-020- 01738-0.
S. Mahotra C. Patlolla y N. Kehtarnavaz. REAL-TIME HAND-PAIR GESTURE RECOGNITION USING A STEREO WEBCAM. 2012. DOI: 10.1109/ESPA.2012.6152464.
C. Tran S. Martin y M. Trivedi. Optical flow based Head Movement and Gesture Analyzer (OHMeGA). 2012. DOI: 10.1109/ESPA.2012.515246.
Carlos Andrés Quintero Andrea Katherín Pérez Hernández y Juan Manuel Calderón Chávez. Identificación de señales multimodales para el reconocimiento de emociones humanas por parte de un robot. 2020.
Markus Kächele. Machine Learning Systems for Multimodal Affect Recognition. 2020. DOI: 10.1007/978-3-658-28674-3.
K.R. Chowdhary. Fundamentals of Artificial Intelligence. 2020. DOI: 10.1007/978-81- 322-3972-7.
Christian Lexcellent. Artificial Intelligence versus Human Intelligence. 2019. DOI: 10.1007/ 978-3-030-21445-6.
Yang Liu Li Deng. Deep Learning in Natural Language Processing. 2018. DOI: 10.1007/ 978-981-10-5209-5.
Karan Jain Palash Goyal Sumit Pandey. Deep Learning for Natural Language Processing. 2018. DOI: 10.1007/978-1-4842-3685-7.
M. N. S. Swamy Ke-Lin Du. Neural Networks and Statistical Learning. 2019. DOI: 10.1007/ 978-1-4471-7452-3.
Bryan WC Chung. Pro Processing for Images and Computer Vision with OpenCV. 2017. DOI: 10.1007/978-1-4842-2775-6.
Akshay Kulkarni y Adarsha Shivananda. Natural Language Processing Recipes. 2021. DOI: 10.1007/978-1-4842-7351-7.
S.N. What Is a Machine Learning Pipeline? URL: https://valohai.com/machinelearning- pipeline/.
dc.rights.*.fl_str_mv Atribución-NoComercial-SinDerivadas 2.5 Colombia
dc.rights.uri.*.fl_str_mv http://creativecommons.org/licenses/by-nc-nd/2.5/co/
dc.rights.local.spa.fl_str_mv Abierto (Texto Completo)
dc.rights.accessrights.none.fl_str_mv info:eu-repo/semantics/openAccess
dc.rights.coar.none.fl_str_mv http://purl.org/coar/access_right/c_abf2
rights_invalid_str_mv Atribución-NoComercial-SinDerivadas 2.5 Colombia
http://creativecommons.org/licenses/by-nc-nd/2.5/co/
Abierto (Texto Completo)
http://purl.org/coar/access_right/c_abf2
eu_rights_str_mv openAccess
dc.format.mimetype.spa.fl_str_mv application/pdf
dc.coverage.campus.spa.fl_str_mv CRAI-USTA Bogotá
dc.publisher.spa.fl_str_mv Universidad Santo Tomás
dc.publisher.program.spa.fl_str_mv Pregrado Ingeniería Electrónica
dc.publisher.faculty.spa.fl_str_mv Facultad de Ingeniería Electrónica
institution Universidad Santo Tomás
bitstream.url.fl_str_mv https://repository.usta.edu.co/bitstream/11634/47305/1/2022nicolasgarzoncamiloromero.pdf
https://repository.usta.edu.co/bitstream/11634/47305/2/Carta%20aprobaci%c3%b3n%20facultad.pdf
https://repository.usta.edu.co/bitstream/11634/47305/3/Carta%20derechos%20de%20autor.pdf
https://repository.usta.edu.co/bitstream/11634/47305/4/license_rdf
https://repository.usta.edu.co/bitstream/11634/47305/5/license.txt
https://repository.usta.edu.co/bitstream/11634/47305/6/2022nicolasgarzoncamiloromero.pdf.jpg
https://repository.usta.edu.co/bitstream/11634/47305/7/Carta%20aprobaci%c3%b3n%20facultad.pdf.jpg
https://repository.usta.edu.co/bitstream/11634/47305/8/Carta%20derechos%20de%20autor.pdf.jpg
bitstream.checksum.fl_str_mv be07536825adac4accb2a2de7d8cb8e6
6f7decf0cc52d36d5e8d48163cbe1128
0b98b210b634024d9cabe0922ee79212
217700a34da79ed616c2feb68d4c5e06
aedeaf396fcd827b537c73d23464fc27
6c214591fe24f0211bfef0f867b4a75c
7151070ea1cb12602ff5f27e5774e5e2
a0c5a84630c51ee66c4d03f49ea11757
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositorio Universidad Santo Tomás
repository.mail.fl_str_mv repositorio@usantotomas.edu.co
_version_ 1782026280006320128
spelling Amaya, Sindy PaolaMateus, ArmandoGarzón Alvarez, Nicolás FelipeRomero Moreno, Juan CamiloUniversidad Santo Tomás2022-09-22T19:29:13Z2022-09-22T19:29:13Z2022-09-22Garzón Alvarez, N. F. y Romero Moreno, J. C. (2022). Implementación de un sistema de interacción humano-máquina que emplee lenguaje multimodal en una plataforma robótica basada en ROS. [Trabajo de grado, Universidad Santo Tomás]. Repositorio institucional.http://hdl.handle.net/11634/47305reponame:Repositorio Institucional Universidad Santo Tomásinstname:Universidad Santo Tomásrepourl:https://repository.usta.edu.coEl presente proyecto busca hacer un aporte en la investigación y mejora sobre la comunicación humano-máquina, con el fin de poder tener una conversación mucho más fluida y natural en la cual, la máquina además de tener respuestas acertadas y congruentes con el tema en conversación, tenga movimientos y gestos acordes al estado de animo que se identifique, es decir, que la máquina sea capaz de reconocer si la persona se encuentra en un estado de ánimo exaltado, tranquilo o neutral mientras se está dialogando y respecto a ese reconocimiento de ánimo, los movimientos de sus manos, brazos, torso y demás articulaciones e indicadores que tenga la plataforma robótica, representen la forma en la que se esta llevando la conversación. El proceso inicia con un estado del arte, que permite la compresión y el estudio de varias investigaciones relacionadas con el ambiente de la robótica y la comunicación multimodal, para poder así tener ideas más claras sobre los desarrollos y los puntos importantes para tener en cuenta. También se hace un análisis de las plataformas robóticas que se pueden utilizar con el fin de definir cuál es la más apta respecto a las limitantes en software y hardware. Se procede a realizar el desarrollo y construcción de las herramientas como: la visión que se encarga de recoger las coordenadas de las posturas de las personas, el reconocimiento de voz, el cual convierte el audio en texto y es enviado al análisis de texto (ChatBot) donde se hace un procesamiento de la frase obtenida y da una respuesta acorde. Para tener una comunicación más natural con el humano es necesario que la plataforma realice movimientos corporales, por ende, con la información recolectada con la visión y el análisis de texto, se hace una selección de los movimientos del robot que concuerde con el tipo de conversación.This project seeks to make a contribution to the research and improvement of human-machine communication, in order to be able to have a much more fluid and natural conversation in which the machine, in addition to having correct and consistent answers with the topic in conversation. , have movements and gestures according to the state of mind that is identified, that is, that the machine is capable of recognizing if the person is in an exalted, calm or neutral state of mind while they are having a dialogue and with respect to that mood recognition , the movements of their hands, arms, torso and other joints and indicators that the robotic platform has, represent the way in which the conversation is taking place. The process begins with a state of the art, which allows the understanding and study of various investigations related to the environment of robotics and multimodal communication, in order to have clearer ideas about the developments and the important points to take into account. An analysis of the robotic platforms that can be used is also made in order to define which one is the most suitable with respect to the limitations in software and hardware. We proceed to carry out the development and construction of tools such as: the vision that is responsible for collecting the coordinates of people's postures, voice recognition, which converts audio into text and is sent to text analysis (ChatBot ) where a processing of the obtained phrase and gives a corresponding answer. In order to have a more natural communication with the human, it is necessary for the platform to perform body movements, therefore, with the information collected with vision and text analysis, a selection of the robot's movements is made that matches the type of conversation .Ingeniero ElectronicoPregradoapplication/pdfspaUniversidad Santo TomásPregrado Ingeniería ElectrónicaFacultad de Ingeniería ElectrónicaAtribución-NoComercial-SinDerivadas 2.5 Colombiahttp://creativecommons.org/licenses/by-nc-nd/2.5/co/Abierto (Texto Completo)info:eu-repo/semantics/openAccesshttp://purl.org/coar/access_right/c_abf2Implementación de un sistema de interacción humano-máquina que emplee lenguaje multimodal en una plataforma robótica basada en ROS.MultimodalCommunicationRobotic platformROSSocial roboticsNeural networksDeep learningArtificial visionFace recognitionPepperPoppyIngeniería ElectrónicaSistemas hombre-máquinaDiálogo hombre-máquinaMultimodalComunicaciónPlataforma robóticaROSRobótica socialRedes neuronalesAprendizaje profundoVisión artificialReconocimiento facialPepperPoppyTrabajo de gradoinfo:eu-repo/semantics/acceptedVersionhttp://purl.org/coar/resource_type/c_7a1finfo:eu-repo/semantics/bachelorThesisCRAI-USTA BogotáJuan González E. y Jovani Jiménez Builes. «La robótica como herramienta para la educación en ciencias e ingeniería». En: IE Comunicaciones: Revista Iberoamericana de Informática Educativa 10 (2009), págs. 31-36. ISSN: 1699-4574. URL: http : / / iecom . adie . es / index.php/IECom/article/view/177/165.StevenWyatt y col. «World Robotics 2019 Preview». En: International Federation of Robotics September (2019), págs. 1-32. URL: https://ifr.org/downloads/press2018/ IFR%20World%20Robotics%20Presentation%20-%2018%20Sept%202019.pdf.Robotics Online Marketing Team. The Future With Service Robots Draws Nearer | RIA Robotics Blog. 2019. URL: https://www.robotics.org/blog-article.cfm/The- Future-With-Service-Robots-Draws-Nearer/222 (visitado 13-04-2020).Roger Moore. «From talking and listening robots to intelligent communicative machines ». En: ene. de 2015, págs. 317-344. DOI: 10.1515/9781614514404.315.Yi Zheng y col. «DEEP LEARNING & NEURAL COMPUTING FOR INTELLIGENT SENSING AND CONTROL Research on motion pattern recognition of exoskeleton robot based on multimodal machine learning model». En: (). DOI: 10.1007/s00521- 019-04567-1. URL: https://doi.org/10.1007/s00521-019-04567-1.Bannat A. .A Multimodal Human-Robot-Dialog Applying Emotional Feedbacks.Ïn: Ge S.S., Li H., Cabibihan JJ., Tan Y.K. (eds) Social Robotics. ICSR 2010. Lecture Notes in Computer Science, vol 6414. 2010. ISBN: 978-3-642-17248-9. DOI: 10.1007/978-3-642-17248-9_1.Képesi M. Pucher M. "Multimodal Mobile Robot Control Using Speech Application Language Tags.Ïn: Aarts E., Collier R.W., van Loenen E., de Ruyter B. (eds) Ambient Intelligence. EUSAI 2003. Lecture Notes in Computer Science, vol 2875. 2003. ISBN: 978-3-540-20418-3. DOI: 10. 1007/978-3-540-39863-9_5.Baier-Lowenstein T. Huser M., Svagusa M. y Zhang J. "Natural Demonstration of Manipulation Skills for Multimodal Interactive Robots.Ïn: Stephanidis C. (eds) Universal Access in Human-Computer Interaction. Ambient Interaction. UAHCI 2007. Lecture Notes in Computer Science, vol 4555. 2007. ISBN: 978-3-540-73280-8. DOI: 10.1007/978-3-540-73281- 5_97.Drygajlo Prodanov P., A. y J. Richiardi. "Low-level grounding in a multimodal mobile service robot conversational system using graphical models.Ïntel Serv Robotics 1, 3–26. 2008. DOI: 10. 1007/s11370-006-0001-9.Abe T. Oka T. y Sugita K. "Success rates in a multimodal command language for home robot users..Artif Life Robotics 14, 219. 2009. DOI: 10.1007/s10015-009-0657-2.Habel C. Elmogy M. y Zhang J. "Multimodal cognitive interface for robot navigation.Çogn Process 12, 53–65. 2011. DOI: 10.1007/s10339-010-0386-4.Barber D.J. Abich J. "The impact of human–robot multimodal communication on mental workload, usability preference, and expectations of robot behavior."J Multimodal User Interfaces 11, 211–225. 2017. DOI: 10.1007/s12193-016-0237-4.Thomsen N.B. Tan Z. y Duan X. ïSocioBot: A Multimodal Interactive Social Robot.Ïnt J of Soc Robotics 10, 5–19. 2018. DOI: 10.1007/s12369-017-0426-7.Weiss A. Tsiourti C. y Wac K. "Multimodal Integration of Emotional Signals from Voice, Body, and Context: Effects of (In)Congruence on Emotion Recognition and Attitudes Towards Robots.Ïnt J of Soc Robotics 11, 555–573. 2019. DOI: 10.1007/s12369-019-00524-z.Kuchibotla M.R. Ande S.K. y Adavi B.K. Robot acquisition, control and interfacing using multimodal feedback."J Ambient Intell Human Comput. 2020. DOI: 10.1007/s12652-020- 01738-0.S. Mahotra C. Patlolla y N. Kehtarnavaz. REAL-TIME HAND-PAIR GESTURE RECOGNITION USING A STEREO WEBCAM. 2012. DOI: 10.1109/ESPA.2012.6152464.C. Tran S. Martin y M. Trivedi. Optical flow based Head Movement and Gesture Analyzer (OHMeGA). 2012. DOI: 10.1109/ESPA.2012.515246.Carlos Andrés Quintero Andrea Katherín Pérez Hernández y Juan Manuel Calderón Chávez. Identificación de señales multimodales para el reconocimiento de emociones humanas por parte de un robot. 2020.Markus Kächele. Machine Learning Systems for Multimodal Affect Recognition. 2020. DOI: 10.1007/978-3-658-28674-3.K.R. Chowdhary. Fundamentals of Artificial Intelligence. 2020. DOI: 10.1007/978-81- 322-3972-7.Christian Lexcellent. Artificial Intelligence versus Human Intelligence. 2019. DOI: 10.1007/ 978-3-030-21445-6.Yang Liu Li Deng. Deep Learning in Natural Language Processing. 2018. DOI: 10.1007/ 978-981-10-5209-5.Karan Jain Palash Goyal Sumit Pandey. Deep Learning for Natural Language Processing. 2018. DOI: 10.1007/978-1-4842-3685-7.M. N. S. Swamy Ke-Lin Du. Neural Networks and Statistical Learning. 2019. DOI: 10.1007/ 978-1-4471-7452-3.Bryan WC Chung. Pro Processing for Images and Computer Vision with OpenCV. 2017. DOI: 10.1007/978-1-4842-2775-6.Akshay Kulkarni y Adarsha Shivananda. Natural Language Processing Recipes. 2021. DOI: 10.1007/978-1-4842-7351-7.S.N. What Is a Machine Learning Pipeline? URL: https://valohai.com/machinelearning- pipeline/.ORIGINAL2022nicolasgarzoncamiloromero.pdf2022nicolasgarzoncamiloromero.pdfTrabajo de gradoapplication/pdf33687755https://repository.usta.edu.co/bitstream/11634/47305/1/2022nicolasgarzoncamiloromero.pdfbe07536825adac4accb2a2de7d8cb8e6MD51open accessCarta aprobación facultad.pdfCarta aprobación facultad.pdfCarta aprobación facultadapplication/pdf428385https://repository.usta.edu.co/bitstream/11634/47305/2/Carta%20aprobaci%c3%b3n%20facultad.pdf6f7decf0cc52d36d5e8d48163cbe1128MD52metadata only accessCarta derechos de autor.pdfCarta derechos de autor.pdfCarta Derechos de autorapplication/pdf1221533https://repository.usta.edu.co/bitstream/11634/47305/3/Carta%20derechos%20de%20autor.pdf0b98b210b634024d9cabe0922ee79212MD53metadata only accessCC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8811https://repository.usta.edu.co/bitstream/11634/47305/4/license_rdf217700a34da79ed616c2feb68d4c5e06MD54open accessLICENSElicense.txtlicense.txttext/plain; charset=utf-8807https://repository.usta.edu.co/bitstream/11634/47305/5/license.txtaedeaf396fcd827b537c73d23464fc27MD55open accessTHUMBNAIL2022nicolasgarzoncamiloromero.pdf.jpg2022nicolasgarzoncamiloromero.pdf.jpgIM Thumbnailimage/jpeg7673https://repository.usta.edu.co/bitstream/11634/47305/6/2022nicolasgarzoncamiloromero.pdf.jpg6c214591fe24f0211bfef0f867b4a75cMD56open accessCarta aprobación facultad.pdf.jpgCarta aprobación facultad.pdf.jpgIM Thumbnailimage/jpeg7002https://repository.usta.edu.co/bitstream/11634/47305/7/Carta%20aprobaci%c3%b3n%20facultad.pdf.jpg7151070ea1cb12602ff5f27e5774e5e2MD57open accessCarta derechos de autor.pdf.jpgCarta derechos de autor.pdf.jpgIM Thumbnailimage/jpeg8442https://repository.usta.edu.co/bitstream/11634/47305/8/Carta%20derechos%20de%20autor.pdf.jpga0c5a84630c51ee66c4d03f49ea11757MD58open access11634/47305oai:repository.usta.edu.co:11634/473052022-11-12 03:09:33.984open accessRepositorio Universidad Santo Tomásrepositorio@usantotomas.edu.coQXV0b3Jpem8gYWwgQ2VudHJvIGRlIFJlY3Vyc29zIHBhcmEgZWwgQXByZW5kaXphamUgeSBsYSBJbnZlc3RpZ2FjacOzbiwgQ1JBSS1VU1RBCmRlIGxhIFVuaXZlcnNpZGFkIFNhbnRvIFRvbcOhcywgcGFyYSBxdWUgY29uIGZpbmVzIGFjYWTDqW1pY29zIGFsbWFjZW5lIGxhCmluZm9ybWFjacOzbiBpbmdyZXNhZGEgcHJldmlhbWVudGUuCgpTZSBwZXJtaXRlIGxhIGNvbnN1bHRhLCByZXByb2R1Y2Npw7NuIHBhcmNpYWwsIHRvdGFsIG8gY2FtYmlvIGRlIGZvcm1hdG8gY29uCmZpbmVzIGRlIGNvbnNlcnZhY2nDs24sIGEgbG9zIHVzdWFyaW9zIGludGVyZXNhZG9zIGVuIGVsIGNvbnRlbmlkbyBkZSBlc3RlCnRyYWJham8sIHBhcmEgdG9kb3MgbG9zIHVzb3MgcXVlIHRlbmdhbiBmaW5hbGlkYWQgYWNhZMOpbWljYSwgc2llbXByZSB5IGN1YW5kbwptZWRpYW50ZSBsYSBjb3JyZXNwb25kaWVudGUgY2l0YSBiaWJsaW9ncsOhZmljYSBzZSBsZSBkw6kgY3LDqWRpdG8gYWwgdHJhYmFqbyBkZQpncmFkbyB5IGEgc3UgYXV0b3IuIERlIGNvbmZvcm1pZGFkIGNvbiBsbyBlc3RhYmxlY2lkbyBlbiBlbCBhcnTDrWN1bG8gMzAgZGUgbGEKTGV5IDIzIGRlIDE5ODIgeSBlbCBhcnTDrWN1bG8gMTEgZGUgbGEgRGVjaXNpw7NuIEFuZGluYSAzNTEgZGUgMTk5Mywg4oCcTG9zIGRlcmVjaG9zCm1vcmFsZXMgc29icmUgZWwgdHJhYmFqbyBzb24gcHJvcGllZGFkIGRlIGxvcyBhdXRvcmVz4oCdLCBsb3MgY3VhbGVzIHNvbgppcnJlbnVuY2lhYmxlcywgaW1wcmVzY3JpcHRpYmxlcywgaW5lbWJhcmdhYmxlcyBlIGluYWxpZW5hYmxlcy4K