Implementación de un sistema de interacción humano-máquina que emplee lenguaje multimodal en una plataforma robótica basada en ROS.
El presente proyecto busca hacer un aporte en la investigación y mejora sobre la comunicación humano-máquina, con el fin de poder tener una conversación mucho más fluida y natural en la cual, la máquina además de tener respuestas acertadas y congruentes con el tema en conversación, tenga movimientos...
- Autores:
-
Garzón Alvarez, Nicolás Felipe
Romero Moreno, Juan Camilo
- Tipo de recurso:
- Trabajo de grado de pregrado
- Fecha de publicación:
- 2022
- Institución:
- Universidad Santo Tomás
- Repositorio:
- Repositorio Institucional USTA
- Idioma:
- spa
- OAI Identifier:
- oai:repository.usta.edu.co:11634/47305
- Acceso en línea:
- http://hdl.handle.net/11634/47305
- Palabra clave:
- Multimodal
Communication
Robotic platform
ROS
Social robotics
Neural networks
Deep learning
Artificial vision
Face recognition
Pepper
Poppy
Ingeniería Electrónica
Sistemas hombre-máquina
Diálogo hombre-máquina
Multimodal
Comunicación
Plataforma robótica
ROS
Robótica social
Redes neuronales
Aprendizaje profundo
Visión artificial
Reconocimiento facial
Pepper
Poppy
- Rights
- openAccess
- License
- Atribución-NoComercial-SinDerivadas 2.5 Colombia
| id |
SANTTOMAS2_77ae89892dd45200fd4c77e4d080dcbd |
|---|---|
| oai_identifier_str |
oai:repository.usta.edu.co:11634/47305 |
| network_acronym_str |
SANTTOMAS2 |
| network_name_str |
Repositorio Institucional USTA |
| repository_id_str |
|
| dc.title.spa.fl_str_mv |
Implementación de un sistema de interacción humano-máquina que emplee lenguaje multimodal en una plataforma robótica basada en ROS. |
| title |
Implementación de un sistema de interacción humano-máquina que emplee lenguaje multimodal en una plataforma robótica basada en ROS. |
| spellingShingle |
Implementación de un sistema de interacción humano-máquina que emplee lenguaje multimodal en una plataforma robótica basada en ROS. Multimodal Communication Robotic platform ROS Social robotics Neural networks Deep learning Artificial vision Face recognition Pepper Poppy Ingeniería Electrónica Sistemas hombre-máquina Diálogo hombre-máquina Multimodal Comunicación Plataforma robótica ROS Robótica social Redes neuronales Aprendizaje profundo Visión artificial Reconocimiento facial Pepper Poppy |
| title_short |
Implementación de un sistema de interacción humano-máquina que emplee lenguaje multimodal en una plataforma robótica basada en ROS. |
| title_full |
Implementación de un sistema de interacción humano-máquina que emplee lenguaje multimodal en una plataforma robótica basada en ROS. |
| title_fullStr |
Implementación de un sistema de interacción humano-máquina que emplee lenguaje multimodal en una plataforma robótica basada en ROS. |
| title_full_unstemmed |
Implementación de un sistema de interacción humano-máquina que emplee lenguaje multimodal en una plataforma robótica basada en ROS. |
| title_sort |
Implementación de un sistema de interacción humano-máquina que emplee lenguaje multimodal en una plataforma robótica basada en ROS. |
| dc.creator.fl_str_mv |
Garzón Alvarez, Nicolás Felipe Romero Moreno, Juan Camilo |
| dc.contributor.advisor.none.fl_str_mv |
Amaya, Sindy Paola Mateus, Armando |
| dc.contributor.author.none.fl_str_mv |
Garzón Alvarez, Nicolás Felipe Romero Moreno, Juan Camilo |
| dc.contributor.corporatename.spa.fl_str_mv |
Universidad Santo Tomás |
| dc.subject.keyword.spa.fl_str_mv |
Multimodal Communication Robotic platform ROS Social robotics Neural networks Deep learning Artificial vision Face recognition Pepper Poppy |
| topic |
Multimodal Communication Robotic platform ROS Social robotics Neural networks Deep learning Artificial vision Face recognition Pepper Poppy Ingeniería Electrónica Sistemas hombre-máquina Diálogo hombre-máquina Multimodal Comunicación Plataforma robótica ROS Robótica social Redes neuronales Aprendizaje profundo Visión artificial Reconocimiento facial Pepper Poppy |
| dc.subject.lemb.spa.fl_str_mv |
Ingeniería Electrónica Sistemas hombre-máquina Diálogo hombre-máquina |
| dc.subject.proposal.spa.fl_str_mv |
Multimodal Comunicación Plataforma robótica ROS Robótica social Redes neuronales Aprendizaje profundo Visión artificial Reconocimiento facial Pepper Poppy |
| description |
El presente proyecto busca hacer un aporte en la investigación y mejora sobre la comunicación humano-máquina, con el fin de poder tener una conversación mucho más fluida y natural en la cual, la máquina además de tener respuestas acertadas y congruentes con el tema en conversación, tenga movimientos y gestos acordes al estado de animo que se identifique, es decir, que la máquina sea capaz de reconocer si la persona se encuentra en un estado de ánimo exaltado, tranquilo o neutral mientras se está dialogando y respecto a ese reconocimiento de ánimo, los movimientos de sus manos, brazos, torso y demás articulaciones e indicadores que tenga la plataforma robótica, representen la forma en la que se esta llevando la conversación. El proceso inicia con un estado del arte, que permite la compresión y el estudio de varias investigaciones relacionadas con el ambiente de la robótica y la comunicación multimodal, para poder así tener ideas más claras sobre los desarrollos y los puntos importantes para tener en cuenta. También se hace un análisis de las plataformas robóticas que se pueden utilizar con el fin de definir cuál es la más apta respecto a las limitantes en software y hardware. Se procede a realizar el desarrollo y construcción de las herramientas como: la visión que se encarga de recoger las coordenadas de las posturas de las personas, el reconocimiento de voz, el cual convierte el audio en texto y es enviado al análisis de texto (ChatBot) donde se hace un procesamiento de la frase obtenida y da una respuesta acorde. Para tener una comunicación más natural con el humano es necesario que la plataforma realice movimientos corporales, por ende, con la información recolectada con la visión y el análisis de texto, se hace una selección de los movimientos del robot que concuerde con el tipo de conversación. |
| publishDate |
2022 |
| dc.date.accessioned.none.fl_str_mv |
2022-09-22T19:29:13Z |
| dc.date.available.none.fl_str_mv |
2022-09-22T19:29:13Z |
| dc.date.issued.none.fl_str_mv |
2022-09-22 |
| dc.type.local.spa.fl_str_mv |
Trabajo de grado |
| dc.type.version.none.fl_str_mv |
info:eu-repo/semantics/acceptedVersion |
| dc.type.coar.none.fl_str_mv |
http://purl.org/coar/resource_type/c_7a1f |
| dc.type.drive.none.fl_str_mv |
info:eu-repo/semantics/bachelorThesis |
| format |
http://purl.org/coar/resource_type/c_7a1f |
| status_str |
acceptedVersion |
| dc.identifier.citation.spa.fl_str_mv |
Garzón Alvarez, N. F. y Romero Moreno, J. C. (2022). Implementación de un sistema de interacción humano-máquina que emplee lenguaje multimodal en una plataforma robótica basada en ROS. [Trabajo de grado, Universidad Santo Tomás]. Repositorio institucional. |
| dc.identifier.uri.none.fl_str_mv |
http://hdl.handle.net/11634/47305 |
| dc.identifier.reponame.spa.fl_str_mv |
reponame:Repositorio Institucional Universidad Santo Tomás |
| dc.identifier.instname.spa.fl_str_mv |
instname:Universidad Santo Tomás |
| dc.identifier.repourl.spa.fl_str_mv |
repourl:https://repository.usta.edu.co |
| identifier_str_mv |
Garzón Alvarez, N. F. y Romero Moreno, J. C. (2022). Implementación de un sistema de interacción humano-máquina que emplee lenguaje multimodal en una plataforma robótica basada en ROS. [Trabajo de grado, Universidad Santo Tomás]. Repositorio institucional. reponame:Repositorio Institucional Universidad Santo Tomás instname:Universidad Santo Tomás repourl:https://repository.usta.edu.co |
| url |
http://hdl.handle.net/11634/47305 |
| dc.language.iso.spa.fl_str_mv |
spa |
| language |
spa |
| dc.relation.references.spa.fl_str_mv |
Juan González E. y Jovani Jiménez Builes. «La robótica como herramienta para la educación en ciencias e ingeniería». En: IE Comunicaciones: Revista Iberoamericana de Informática Educativa 10 (2009), págs. 31-36. ISSN: 1699-4574. URL: http : / / iecom . adie . es / index.php/IECom/article/view/177/165. StevenWyatt y col. «World Robotics 2019 Preview». En: International Federation of Robotics September (2019), págs. 1-32. URL: https://ifr.org/downloads/press2018/ IFR%20World%20Robotics%20Presentation%20-%2018%20Sept%202019.pdf. Robotics Online Marketing Team. The Future With Service Robots Draws Nearer | RIA Robotics Blog. 2019. URL: https://www.robotics.org/blog-article.cfm/The- Future-With-Service-Robots-Draws-Nearer/222 (visitado 13-04-2020). Roger Moore. «From talking and listening robots to intelligent communicative machines ». En: ene. de 2015, págs. 317-344. DOI: 10.1515/9781614514404.315. Yi Zheng y col. «DEEP LEARNING & NEURAL COMPUTING FOR INTELLIGENT SENSING AND CONTROL Research on motion pattern recognition of exoskeleton robot based on multimodal machine learning model». En: (). DOI: 10.1007/s00521- 019-04567-1. URL: https://doi.org/10.1007/s00521-019-04567-1. Bannat A. .A Multimodal Human-Robot-Dialog Applying Emotional Feedbacks.Ïn: Ge S.S., Li H., Cabibihan JJ., Tan Y.K. (eds) Social Robotics. ICSR 2010. Lecture Notes in Computer Science, vol 6414. 2010. ISBN: 978-3-642-17248-9. DOI: 10.1007/978-3-642-17248-9_1. Képesi M. Pucher M. "Multimodal Mobile Robot Control Using Speech Application Language Tags.Ïn: Aarts E., Collier R.W., van Loenen E., de Ruyter B. (eds) Ambient Intelligence. EUSAI 2003. Lecture Notes in Computer Science, vol 2875. 2003. ISBN: 978-3-540-20418-3. DOI: 10. 1007/978-3-540-39863-9_5. Baier-Lowenstein T. Huser M., Svagusa M. y Zhang J. "Natural Demonstration of Manipulation Skills for Multimodal Interactive Robots.Ïn: Stephanidis C. (eds) Universal Access in Human-Computer Interaction. Ambient Interaction. UAHCI 2007. Lecture Notes in Computer Science, vol 4555. 2007. ISBN: 978-3-540-73280-8. DOI: 10.1007/978-3-540-73281- 5_97. Drygajlo Prodanov P., A. y J. Richiardi. "Low-level grounding in a multimodal mobile service robot conversational system using graphical models.Ïntel Serv Robotics 1, 3–26. 2008. DOI: 10. 1007/s11370-006-0001-9. Abe T. Oka T. y Sugita K. "Success rates in a multimodal command language for home robot users..Artif Life Robotics 14, 219. 2009. DOI: 10.1007/s10015-009-0657-2. Habel C. Elmogy M. y Zhang J. "Multimodal cognitive interface for robot navigation.Çogn Process 12, 53–65. 2011. DOI: 10.1007/s10339-010-0386-4. Barber D.J. Abich J. "The impact of human–robot multimodal communication on mental workload, usability preference, and expectations of robot behavior."J Multimodal User Interfaces 11, 211–225. 2017. DOI: 10.1007/s12193-016-0237-4. Thomsen N.B. Tan Z. y Duan X. ïSocioBot: A Multimodal Interactive Social Robot.Ïnt J of Soc Robotics 10, 5–19. 2018. DOI: 10.1007/s12369-017-0426-7. Weiss A. Tsiourti C. y Wac K. "Multimodal Integration of Emotional Signals from Voice, Body, and Context: Effects of (In)Congruence on Emotion Recognition and Attitudes Towards Robots.Ïnt J of Soc Robotics 11, 555–573. 2019. DOI: 10.1007/s12369-019-00524-z. Kuchibotla M.R. Ande S.K. y Adavi B.K. Robot acquisition, control and interfacing using multimodal feedback."J Ambient Intell Human Comput. 2020. DOI: 10.1007/s12652-020- 01738-0. S. Mahotra C. Patlolla y N. Kehtarnavaz. REAL-TIME HAND-PAIR GESTURE RECOGNITION USING A STEREO WEBCAM. 2012. DOI: 10.1109/ESPA.2012.6152464. C. Tran S. Martin y M. Trivedi. Optical flow based Head Movement and Gesture Analyzer (OHMeGA). 2012. DOI: 10.1109/ESPA.2012.515246. Carlos Andrés Quintero Andrea Katherín Pérez Hernández y Juan Manuel Calderón Chávez. Identificación de señales multimodales para el reconocimiento de emociones humanas por parte de un robot. 2020. Markus Kächele. Machine Learning Systems for Multimodal Affect Recognition. 2020. DOI: 10.1007/978-3-658-28674-3. K.R. Chowdhary. Fundamentals of Artificial Intelligence. 2020. DOI: 10.1007/978-81- 322-3972-7. Christian Lexcellent. Artificial Intelligence versus Human Intelligence. 2019. DOI: 10.1007/ 978-3-030-21445-6. Yang Liu Li Deng. Deep Learning in Natural Language Processing. 2018. DOI: 10.1007/ 978-981-10-5209-5. Karan Jain Palash Goyal Sumit Pandey. Deep Learning for Natural Language Processing. 2018. DOI: 10.1007/978-1-4842-3685-7. M. N. S. Swamy Ke-Lin Du. Neural Networks and Statistical Learning. 2019. DOI: 10.1007/ 978-1-4471-7452-3. Bryan WC Chung. Pro Processing for Images and Computer Vision with OpenCV. 2017. DOI: 10.1007/978-1-4842-2775-6. Akshay Kulkarni y Adarsha Shivananda. Natural Language Processing Recipes. 2021. DOI: 10.1007/978-1-4842-7351-7. S.N. What Is a Machine Learning Pipeline? URL: https://valohai.com/machinelearning- pipeline/. |
| dc.rights.*.fl_str_mv |
Atribución-NoComercial-SinDerivadas 2.5 Colombia |
| dc.rights.uri.*.fl_str_mv |
http://creativecommons.org/licenses/by-nc-nd/2.5/co/ |
| dc.rights.local.spa.fl_str_mv |
Abierto (Texto Completo) |
| dc.rights.accessrights.none.fl_str_mv |
info:eu-repo/semantics/openAccess |
| dc.rights.coar.none.fl_str_mv |
http://purl.org/coar/access_right/c_abf2 |
| rights_invalid_str_mv |
Atribución-NoComercial-SinDerivadas 2.5 Colombia http://creativecommons.org/licenses/by-nc-nd/2.5/co/ Abierto (Texto Completo) http://purl.org/coar/access_right/c_abf2 |
| eu_rights_str_mv |
openAccess |
| dc.format.mimetype.spa.fl_str_mv |
application/pdf |
| dc.coverage.campus.spa.fl_str_mv |
CRAI-USTA Bogotá |
| dc.publisher.spa.fl_str_mv |
Universidad Santo Tomás |
| dc.publisher.program.spa.fl_str_mv |
Pregrado Ingeniería Electrónica |
| dc.publisher.faculty.spa.fl_str_mv |
Facultad de Ingeniería Electrónica |
| institution |
Universidad Santo Tomás |
| bitstream.url.fl_str_mv |
https://repository.usta.edu.co/bitstream/11634/47305/1/2022nicolasgarzoncamiloromero.pdf https://repository.usta.edu.co/bitstream/11634/47305/2/Carta%20aprobaci%c3%b3n%20facultad.pdf https://repository.usta.edu.co/bitstream/11634/47305/3/Carta%20derechos%20de%20autor.pdf https://repository.usta.edu.co/bitstream/11634/47305/4/license_rdf https://repository.usta.edu.co/bitstream/11634/47305/5/license.txt https://repository.usta.edu.co/bitstream/11634/47305/6/2022nicolasgarzoncamiloromero.pdf.jpg https://repository.usta.edu.co/bitstream/11634/47305/7/Carta%20aprobaci%c3%b3n%20facultad.pdf.jpg https://repository.usta.edu.co/bitstream/11634/47305/8/Carta%20derechos%20de%20autor.pdf.jpg |
| bitstream.checksum.fl_str_mv |
be07536825adac4accb2a2de7d8cb8e6 6f7decf0cc52d36d5e8d48163cbe1128 0b98b210b634024d9cabe0922ee79212 217700a34da79ed616c2feb68d4c5e06 aedeaf396fcd827b537c73d23464fc27 6c214591fe24f0211bfef0f867b4a75c 7151070ea1cb12602ff5f27e5774e5e2 a0c5a84630c51ee66c4d03f49ea11757 |
| bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 MD5 MD5 MD5 MD5 |
| repository.name.fl_str_mv |
Repositorio Universidad Santo Tomás |
| repository.mail.fl_str_mv |
repositorio@usantotomas.edu.co |
| _version_ |
1782026280006320128 |
| spelling |
Amaya, Sindy PaolaMateus, ArmandoGarzón Alvarez, Nicolás FelipeRomero Moreno, Juan CamiloUniversidad Santo Tomás2022-09-22T19:29:13Z2022-09-22T19:29:13Z2022-09-22Garzón Alvarez, N. F. y Romero Moreno, J. C. (2022). Implementación de un sistema de interacción humano-máquina que emplee lenguaje multimodal en una plataforma robótica basada en ROS. [Trabajo de grado, Universidad Santo Tomás]. Repositorio institucional.http://hdl.handle.net/11634/47305reponame:Repositorio Institucional Universidad Santo Tomásinstname:Universidad Santo Tomásrepourl:https://repository.usta.edu.coEl presente proyecto busca hacer un aporte en la investigación y mejora sobre la comunicación humano-máquina, con el fin de poder tener una conversación mucho más fluida y natural en la cual, la máquina además de tener respuestas acertadas y congruentes con el tema en conversación, tenga movimientos y gestos acordes al estado de animo que se identifique, es decir, que la máquina sea capaz de reconocer si la persona se encuentra en un estado de ánimo exaltado, tranquilo o neutral mientras se está dialogando y respecto a ese reconocimiento de ánimo, los movimientos de sus manos, brazos, torso y demás articulaciones e indicadores que tenga la plataforma robótica, representen la forma en la que se esta llevando la conversación. El proceso inicia con un estado del arte, que permite la compresión y el estudio de varias investigaciones relacionadas con el ambiente de la robótica y la comunicación multimodal, para poder así tener ideas más claras sobre los desarrollos y los puntos importantes para tener en cuenta. También se hace un análisis de las plataformas robóticas que se pueden utilizar con el fin de definir cuál es la más apta respecto a las limitantes en software y hardware. Se procede a realizar el desarrollo y construcción de las herramientas como: la visión que se encarga de recoger las coordenadas de las posturas de las personas, el reconocimiento de voz, el cual convierte el audio en texto y es enviado al análisis de texto (ChatBot) donde se hace un procesamiento de la frase obtenida y da una respuesta acorde. Para tener una comunicación más natural con el humano es necesario que la plataforma realice movimientos corporales, por ende, con la información recolectada con la visión y el análisis de texto, se hace una selección de los movimientos del robot que concuerde con el tipo de conversación.This project seeks to make a contribution to the research and improvement of human-machine communication, in order to be able to have a much more fluid and natural conversation in which the machine, in addition to having correct and consistent answers with the topic in conversation. , have movements and gestures according to the state of mind that is identified, that is, that the machine is capable of recognizing if the person is in an exalted, calm or neutral state of mind while they are having a dialogue and with respect to that mood recognition , the movements of their hands, arms, torso and other joints and indicators that the robotic platform has, represent the way in which the conversation is taking place. The process begins with a state of the art, which allows the understanding and study of various investigations related to the environment of robotics and multimodal communication, in order to have clearer ideas about the developments and the important points to take into account. An analysis of the robotic platforms that can be used is also made in order to define which one is the most suitable with respect to the limitations in software and hardware. We proceed to carry out the development and construction of tools such as: the vision that is responsible for collecting the coordinates of people's postures, voice recognition, which converts audio into text and is sent to text analysis (ChatBot ) where a processing of the obtained phrase and gives a corresponding answer. In order to have a more natural communication with the human, it is necessary for the platform to perform body movements, therefore, with the information collected with vision and text analysis, a selection of the robot's movements is made that matches the type of conversation .Ingeniero ElectronicoPregradoapplication/pdfspaUniversidad Santo TomásPregrado Ingeniería ElectrónicaFacultad de Ingeniería ElectrónicaAtribución-NoComercial-SinDerivadas 2.5 Colombiahttp://creativecommons.org/licenses/by-nc-nd/2.5/co/Abierto (Texto Completo)info:eu-repo/semantics/openAccesshttp://purl.org/coar/access_right/c_abf2Implementación de un sistema de interacción humano-máquina que emplee lenguaje multimodal en una plataforma robótica basada en ROS.MultimodalCommunicationRobotic platformROSSocial roboticsNeural networksDeep learningArtificial visionFace recognitionPepperPoppyIngeniería ElectrónicaSistemas hombre-máquinaDiálogo hombre-máquinaMultimodalComunicaciónPlataforma robóticaROSRobótica socialRedes neuronalesAprendizaje profundoVisión artificialReconocimiento facialPepperPoppyTrabajo de gradoinfo:eu-repo/semantics/acceptedVersionhttp://purl.org/coar/resource_type/c_7a1finfo:eu-repo/semantics/bachelorThesisCRAI-USTA BogotáJuan González E. y Jovani Jiménez Builes. «La robótica como herramienta para la educación en ciencias e ingeniería». En: IE Comunicaciones: Revista Iberoamericana de Informática Educativa 10 (2009), págs. 31-36. ISSN: 1699-4574. URL: http : / / iecom . adie . es / index.php/IECom/article/view/177/165.StevenWyatt y col. «World Robotics 2019 Preview». En: International Federation of Robotics September (2019), págs. 1-32. URL: https://ifr.org/downloads/press2018/ IFR%20World%20Robotics%20Presentation%20-%2018%20Sept%202019.pdf.Robotics Online Marketing Team. The Future With Service Robots Draws Nearer | RIA Robotics Blog. 2019. URL: https://www.robotics.org/blog-article.cfm/The- Future-With-Service-Robots-Draws-Nearer/222 (visitado 13-04-2020).Roger Moore. «From talking and listening robots to intelligent communicative machines ». En: ene. de 2015, págs. 317-344. DOI: 10.1515/9781614514404.315.Yi Zheng y col. «DEEP LEARNING & NEURAL COMPUTING FOR INTELLIGENT SENSING AND CONTROL Research on motion pattern recognition of exoskeleton robot based on multimodal machine learning model». En: (). DOI: 10.1007/s00521- 019-04567-1. URL: https://doi.org/10.1007/s00521-019-04567-1.Bannat A. .A Multimodal Human-Robot-Dialog Applying Emotional Feedbacks.Ïn: Ge S.S., Li H., Cabibihan JJ., Tan Y.K. (eds) Social Robotics. ICSR 2010. Lecture Notes in Computer Science, vol 6414. 2010. ISBN: 978-3-642-17248-9. DOI: 10.1007/978-3-642-17248-9_1.Képesi M. Pucher M. "Multimodal Mobile Robot Control Using Speech Application Language Tags.Ïn: Aarts E., Collier R.W., van Loenen E., de Ruyter B. (eds) Ambient Intelligence. EUSAI 2003. Lecture Notes in Computer Science, vol 2875. 2003. ISBN: 978-3-540-20418-3. DOI: 10. 1007/978-3-540-39863-9_5.Baier-Lowenstein T. Huser M., Svagusa M. y Zhang J. "Natural Demonstration of Manipulation Skills for Multimodal Interactive Robots.Ïn: Stephanidis C. (eds) Universal Access in Human-Computer Interaction. Ambient Interaction. UAHCI 2007. Lecture Notes in Computer Science, vol 4555. 2007. ISBN: 978-3-540-73280-8. DOI: 10.1007/978-3-540-73281- 5_97.Drygajlo Prodanov P., A. y J. Richiardi. "Low-level grounding in a multimodal mobile service robot conversational system using graphical models.Ïntel Serv Robotics 1, 3–26. 2008. DOI: 10. 1007/s11370-006-0001-9.Abe T. Oka T. y Sugita K. "Success rates in a multimodal command language for home robot users..Artif Life Robotics 14, 219. 2009. DOI: 10.1007/s10015-009-0657-2.Habel C. Elmogy M. y Zhang J. "Multimodal cognitive interface for robot navigation.Çogn Process 12, 53–65. 2011. DOI: 10.1007/s10339-010-0386-4.Barber D.J. Abich J. "The impact of human–robot multimodal communication on mental workload, usability preference, and expectations of robot behavior."J Multimodal User Interfaces 11, 211–225. 2017. DOI: 10.1007/s12193-016-0237-4.Thomsen N.B. Tan Z. y Duan X. ïSocioBot: A Multimodal Interactive Social Robot.Ïnt J of Soc Robotics 10, 5–19. 2018. DOI: 10.1007/s12369-017-0426-7.Weiss A. Tsiourti C. y Wac K. "Multimodal Integration of Emotional Signals from Voice, Body, and Context: Effects of (In)Congruence on Emotion Recognition and Attitudes Towards Robots.Ïnt J of Soc Robotics 11, 555–573. 2019. DOI: 10.1007/s12369-019-00524-z.Kuchibotla M.R. Ande S.K. y Adavi B.K. Robot acquisition, control and interfacing using multimodal feedback."J Ambient Intell Human Comput. 2020. DOI: 10.1007/s12652-020- 01738-0.S. Mahotra C. Patlolla y N. Kehtarnavaz. REAL-TIME HAND-PAIR GESTURE RECOGNITION USING A STEREO WEBCAM. 2012. DOI: 10.1109/ESPA.2012.6152464.C. Tran S. Martin y M. Trivedi. Optical flow based Head Movement and Gesture Analyzer (OHMeGA). 2012. DOI: 10.1109/ESPA.2012.515246.Carlos Andrés Quintero Andrea Katherín Pérez Hernández y Juan Manuel Calderón Chávez. Identificación de señales multimodales para el reconocimiento de emociones humanas por parte de un robot. 2020.Markus Kächele. Machine Learning Systems for Multimodal Affect Recognition. 2020. DOI: 10.1007/978-3-658-28674-3.K.R. Chowdhary. Fundamentals of Artificial Intelligence. 2020. DOI: 10.1007/978-81- 322-3972-7.Christian Lexcellent. Artificial Intelligence versus Human Intelligence. 2019. DOI: 10.1007/ 978-3-030-21445-6.Yang Liu Li Deng. Deep Learning in Natural Language Processing. 2018. DOI: 10.1007/ 978-981-10-5209-5.Karan Jain Palash Goyal Sumit Pandey. Deep Learning for Natural Language Processing. 2018. DOI: 10.1007/978-1-4842-3685-7.M. N. S. Swamy Ke-Lin Du. Neural Networks and Statistical Learning. 2019. DOI: 10.1007/ 978-1-4471-7452-3.Bryan WC Chung. Pro Processing for Images and Computer Vision with OpenCV. 2017. DOI: 10.1007/978-1-4842-2775-6.Akshay Kulkarni y Adarsha Shivananda. Natural Language Processing Recipes. 2021. DOI: 10.1007/978-1-4842-7351-7.S.N. What Is a Machine Learning Pipeline? URL: https://valohai.com/machinelearning- pipeline/.ORIGINAL2022nicolasgarzoncamiloromero.pdf2022nicolasgarzoncamiloromero.pdfTrabajo de gradoapplication/pdf33687755https://repository.usta.edu.co/bitstream/11634/47305/1/2022nicolasgarzoncamiloromero.pdfbe07536825adac4accb2a2de7d8cb8e6MD51open accessCarta aprobación facultad.pdfCarta aprobación facultad.pdfCarta aprobación facultadapplication/pdf428385https://repository.usta.edu.co/bitstream/11634/47305/2/Carta%20aprobaci%c3%b3n%20facultad.pdf6f7decf0cc52d36d5e8d48163cbe1128MD52metadata only accessCarta derechos de autor.pdfCarta derechos de autor.pdfCarta Derechos de autorapplication/pdf1221533https://repository.usta.edu.co/bitstream/11634/47305/3/Carta%20derechos%20de%20autor.pdf0b98b210b634024d9cabe0922ee79212MD53metadata only accessCC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8811https://repository.usta.edu.co/bitstream/11634/47305/4/license_rdf217700a34da79ed616c2feb68d4c5e06MD54open accessLICENSElicense.txtlicense.txttext/plain; charset=utf-8807https://repository.usta.edu.co/bitstream/11634/47305/5/license.txtaedeaf396fcd827b537c73d23464fc27MD55open accessTHUMBNAIL2022nicolasgarzoncamiloromero.pdf.jpg2022nicolasgarzoncamiloromero.pdf.jpgIM Thumbnailimage/jpeg7673https://repository.usta.edu.co/bitstream/11634/47305/6/2022nicolasgarzoncamiloromero.pdf.jpg6c214591fe24f0211bfef0f867b4a75cMD56open accessCarta aprobación facultad.pdf.jpgCarta aprobación facultad.pdf.jpgIM Thumbnailimage/jpeg7002https://repository.usta.edu.co/bitstream/11634/47305/7/Carta%20aprobaci%c3%b3n%20facultad.pdf.jpg7151070ea1cb12602ff5f27e5774e5e2MD57open accessCarta derechos de autor.pdf.jpgCarta derechos de autor.pdf.jpgIM Thumbnailimage/jpeg8442https://repository.usta.edu.co/bitstream/11634/47305/8/Carta%20derechos%20de%20autor.pdf.jpga0c5a84630c51ee66c4d03f49ea11757MD58open access11634/47305oai:repository.usta.edu.co:11634/473052022-11-12 03:09:33.984open accessRepositorio Universidad Santo Tomásrepositorio@usantotomas.edu.coQXV0b3Jpem8gYWwgQ2VudHJvIGRlIFJlY3Vyc29zIHBhcmEgZWwgQXByZW5kaXphamUgeSBsYSBJbnZlc3RpZ2FjacOzbiwgQ1JBSS1VU1RBCmRlIGxhIFVuaXZlcnNpZGFkIFNhbnRvIFRvbcOhcywgcGFyYSBxdWUgY29uIGZpbmVzIGFjYWTDqW1pY29zIGFsbWFjZW5lIGxhCmluZm9ybWFjacOzbiBpbmdyZXNhZGEgcHJldmlhbWVudGUuCgpTZSBwZXJtaXRlIGxhIGNvbnN1bHRhLCByZXByb2R1Y2Npw7NuIHBhcmNpYWwsIHRvdGFsIG8gY2FtYmlvIGRlIGZvcm1hdG8gY29uCmZpbmVzIGRlIGNvbnNlcnZhY2nDs24sIGEgbG9zIHVzdWFyaW9zIGludGVyZXNhZG9zIGVuIGVsIGNvbnRlbmlkbyBkZSBlc3RlCnRyYWJham8sIHBhcmEgdG9kb3MgbG9zIHVzb3MgcXVlIHRlbmdhbiBmaW5hbGlkYWQgYWNhZMOpbWljYSwgc2llbXByZSB5IGN1YW5kbwptZWRpYW50ZSBsYSBjb3JyZXNwb25kaWVudGUgY2l0YSBiaWJsaW9ncsOhZmljYSBzZSBsZSBkw6kgY3LDqWRpdG8gYWwgdHJhYmFqbyBkZQpncmFkbyB5IGEgc3UgYXV0b3IuIERlIGNvbmZvcm1pZGFkIGNvbiBsbyBlc3RhYmxlY2lkbyBlbiBlbCBhcnTDrWN1bG8gMzAgZGUgbGEKTGV5IDIzIGRlIDE5ODIgeSBlbCBhcnTDrWN1bG8gMTEgZGUgbGEgRGVjaXNpw7NuIEFuZGluYSAzNTEgZGUgMTk5Mywg4oCcTG9zIGRlcmVjaG9zCm1vcmFsZXMgc29icmUgZWwgdHJhYmFqbyBzb24gcHJvcGllZGFkIGRlIGxvcyBhdXRvcmVz4oCdLCBsb3MgY3VhbGVzIHNvbgppcnJlbnVuY2lhYmxlcywgaW1wcmVzY3JpcHRpYmxlcywgaW5lbWJhcmdhYmxlcyBlIGluYWxpZW5hYmxlcy4K |