Sistema de navegación para robot móvil basado en aprendizaje por refuerzo

En este proyecto de grado se aborda el problema de navegación para robots móviles utilizando aprendizaje por refuerzo profundo (Deep Reinforcement Learning o DRL). De forma especifica, se implementan algunas variantes de Deep Q-Learning para entrenar a un robot móvil en la tarea de navegar hacia las...

Full description

Autores:
Garrido Urbano, César Daniel
Tipo de recurso:
Trabajo de grado de pregrado
Fecha de publicación:
2020
Institución:
Universidad de los Andes
Repositorio:
Séneca: repositorio Uniandes
Idioma:
spa
OAI Identifier:
oai:repositorio.uniandes.edu.co:1992/48862
Acceso en línea:
http://hdl.handle.net/1992/48862
Palabra clave:
Robots
Robótica
Interacción hombre-máquina
Sistemas de comando y control
Ingeniería
Rights
openAccess
License
https://repositorio.uniandes.edu.co/static/pdf/aceptacion_uso_es.pdf
id UNIANDES2_fe28f4545b1ee988433f79117becdda7
oai_identifier_str oai:repositorio.uniandes.edu.co:1992/48862
network_acronym_str UNIANDES2
network_name_str Séneca: repositorio Uniandes
repository_id_str
dc.title.es_CO.fl_str_mv Sistema de navegación para robot móvil basado en aprendizaje por refuerzo
title Sistema de navegación para robot móvil basado en aprendizaje por refuerzo
spellingShingle Sistema de navegación para robot móvil basado en aprendizaje por refuerzo
Robots
Robótica
Interacción hombre-máquina
Sistemas de comando y control
Ingeniería
title_short Sistema de navegación para robot móvil basado en aprendizaje por refuerzo
title_full Sistema de navegación para robot móvil basado en aprendizaje por refuerzo
title_fullStr Sistema de navegación para robot móvil basado en aprendizaje por refuerzo
title_full_unstemmed Sistema de navegación para robot móvil basado en aprendizaje por refuerzo
title_sort Sistema de navegación para robot móvil basado en aprendizaje por refuerzo
dc.creator.fl_str_mv Garrido Urbano, César Daniel
dc.contributor.advisor.none.fl_str_mv Lozano Martínez, Fernando Enrique
Higuera Arias, Carolina
Martínez Piazuelo, Juan Pablo
dc.contributor.author.none.fl_str_mv Garrido Urbano, César Daniel
dc.subject.armarc.es_CO.fl_str_mv Robots
Robótica
Interacción hombre-máquina
Sistemas de comando y control
topic Robots
Robótica
Interacción hombre-máquina
Sistemas de comando y control
Ingeniería
dc.subject.themes.none.fl_str_mv Ingeniería
description En este proyecto de grado se aborda el problema de navegación para robots móviles utilizando aprendizaje por refuerzo profundo (Deep Reinforcement Learning o DRL). De forma especifica, se implementan algunas variantes de Deep Q-Learning para entrenar a un robot móvil en la tarea de navegar hacia las persona que detecta (a través de una cámara RGB) en simulación. Para esto, se plantea el problema de navegación dentro del contexto de aprendizaje por refuerzo y se comparan los algoritmos de Double DQN y Clipped Double Q Learning a través de una implementación propia. Como caso de estudio se utiliza la plataforma Pepper, un robot semi-humanoide con base omnidireccional diseñado por Softbank Robotics para la interacción con humanos. Actualmente, el robot es capaz de realizar detección de rostros e incorpora sensores como cámaras RGB, cámara de profundidad y láseres, los cuales se utilizan como entrada al sistema de navegación propuesto. Adicionalmente, se utiliza la herramienta de simulación qiBullet para realizar el entrenamiento y validar los resultados de las mejores políticas. El comportamiento del robot con el sistema de navegación desarrollado se puede observar en el siguiente enlace: https://youtu.be/ncqNx_Q3TUg
publishDate 2020
dc.date.issued.none.fl_str_mv 2020
dc.date.accessioned.none.fl_str_mv 2021-02-18T12:35:16Z
dc.date.available.none.fl_str_mv 2021-02-18T12:35:16Z
dc.type.spa.fl_str_mv Trabajo de grado - Pregrado
dc.type.coarversion.fl_str_mv http://purl.org/coar/version/c_970fb48d4fbd8a85
dc.type.driver.spa.fl_str_mv info:eu-repo/semantics/bachelorThesis
dc.type.coar.spa.fl_str_mv http://purl.org/coar/resource_type/c_7a1f
dc.type.content.spa.fl_str_mv Text
dc.type.redcol.spa.fl_str_mv http://purl.org/redcol/resource_type/TP
format http://purl.org/coar/resource_type/c_7a1f
dc.identifier.uri.none.fl_str_mv http://hdl.handle.net/1992/48862
dc.identifier.pdf.none.fl_str_mv u833488.pdf
dc.identifier.instname.spa.fl_str_mv instname:Universidad de los Andes
dc.identifier.reponame.spa.fl_str_mv reponame:Repositorio Institucional Séneca
dc.identifier.repourl.spa.fl_str_mv repourl:https://repositorio.uniandes.edu.co/
url http://hdl.handle.net/1992/48862
identifier_str_mv u833488.pdf
instname:Universidad de los Andes
reponame:Repositorio Institucional Séneca
repourl:https://repositorio.uniandes.edu.co/
dc.language.iso.es_CO.fl_str_mv spa
language spa
dc.rights.uri.*.fl_str_mv https://repositorio.uniandes.edu.co/static/pdf/aceptacion_uso_es.pdf
dc.rights.accessrights.spa.fl_str_mv info:eu-repo/semantics/openAccess
dc.rights.coar.spa.fl_str_mv http://purl.org/coar/access_right/c_abf2
rights_invalid_str_mv https://repositorio.uniandes.edu.co/static/pdf/aceptacion_uso_es.pdf
http://purl.org/coar/access_right/c_abf2
eu_rights_str_mv openAccess
dc.format.extent.es_CO.fl_str_mv 11 hojas
dc.format.mimetype.es_CO.fl_str_mv application/pdf
dc.publisher.es_CO.fl_str_mv Universidad de los Andes
dc.publisher.program.es_CO.fl_str_mv Ingeniería Electrónica
dc.publisher.faculty.es_CO.fl_str_mv Facultad de Ingeniería
dc.publisher.department.es_CO.fl_str_mv Departamento de Ingeniería Eléctrica y Electrónica
dc.source.es_CO.fl_str_mv instname:Universidad de los Andes
reponame:Repositorio Institucional Séneca
instname_str Universidad de los Andes
institution Universidad de los Andes
reponame_str Repositorio Institucional Séneca
collection Repositorio Institucional Séneca
bitstream.url.fl_str_mv https://repositorio.uniandes.edu.co/bitstreams/d710ee2b-e071-413c-89b4-518a3e1034ed/download
https://repositorio.uniandes.edu.co/bitstreams/27ac5dad-5e73-48bc-b478-eefddeb87556/download
https://repositorio.uniandes.edu.co/bitstreams/3975bb40-87df-4881-a6ca-275ccfdcf1ea/download
bitstream.checksum.fl_str_mv 1ea24b07fded62d746277a78dfc6f205
503d72f975b415c018adcdfde487b1c2
4ae8aab424b4c9b658065bd1f502a151
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
repository.name.fl_str_mv Repositorio institucional Séneca
repository.mail.fl_str_mv adminrepositorio@uniandes.edu.co
_version_ 1812134047076319232
spelling Al consultar y hacer uso de este recurso, está aceptando las condiciones de uso establecidas por los autores.https://repositorio.uniandes.edu.co/static/pdf/aceptacion_uso_es.pdfinfo:eu-repo/semantics/openAccesshttp://purl.org/coar/access_right/c_abf2Lozano Martínez, Fernando Enrique93c1238a-333a-40b0-b14b-212ed0ba98e3400Higuera Arias, Carolina70d68b14-b3a4-486e-9300-cadce1c3c686500Martínez Piazuelo, Juan Pabloc0b099a5-4678-4c93-a13d-b449e9b8b941500Garrido Urbano, César Danielba94c200-46b6-4b22-a911-9322599aeae74002021-02-18T12:35:16Z2021-02-18T12:35:16Z2020http://hdl.handle.net/1992/48862u833488.pdfinstname:Universidad de los Andesreponame:Repositorio Institucional Sénecarepourl:https://repositorio.uniandes.edu.co/En este proyecto de grado se aborda el problema de navegación para robots móviles utilizando aprendizaje por refuerzo profundo (Deep Reinforcement Learning o DRL). De forma especifica, se implementan algunas variantes de Deep Q-Learning para entrenar a un robot móvil en la tarea de navegar hacia las persona que detecta (a través de una cámara RGB) en simulación. Para esto, se plantea el problema de navegación dentro del contexto de aprendizaje por refuerzo y se comparan los algoritmos de Double DQN y Clipped Double Q Learning a través de una implementación propia. Como caso de estudio se utiliza la plataforma Pepper, un robot semi-humanoide con base omnidireccional diseñado por Softbank Robotics para la interacción con humanos. Actualmente, el robot es capaz de realizar detección de rostros e incorpora sensores como cámaras RGB, cámara de profundidad y láseres, los cuales se utilizan como entrada al sistema de navegación propuesto. Adicionalmente, se utiliza la herramienta de simulación qiBullet para realizar el entrenamiento y validar los resultados de las mejores políticas. El comportamiento del robot con el sistema de navegación desarrollado se puede observar en el siguiente enlace: https://youtu.be/ncqNx_Q3TUgThis work addresses the navigation problem for mobile robots using deep reinforcement learning (DRL). Specifically, some variants of Deep Q-Learning are used to train a mobile robot in the task of navigating towards people in simulation. For this, the problem of navigation within the context of reinforcement learning is posed (i.e. it is described as a Markov Decision Process) and the algorithms of Double DQN and Clipped Double Q Learning are compared. The Pepper platform, a semi-humanoid robot with an omnidirectional base, designed by Softbank Robotics for interaction with humans, is used as a case study. Currently, the robot has face detection capabilities (with its RGB Camera) and incorporates other sensors such as depth cameras and lasers, both of which are used as input to the proposed navigation system. Additionally, the simulation tool qiBullet is used to carry out the training and test the behaviour of the best policies. Videos showing this behaviours in simulation can be found at: https://youtu.be/ncqNx_Q3TUgIngeniero ElectrónicoPregrado11 hojasapplication/pdfspaUniversidad de los AndesIngeniería ElectrónicaFacultad de IngenieríaDepartamento de Ingeniería Eléctrica y Electrónicainstname:Universidad de los Andesreponame:Repositorio Institucional SénecaSistema de navegación para robot móvil basado en aprendizaje por refuerzoTrabajo de grado - Pregradoinfo:eu-repo/semantics/bachelorThesishttp://purl.org/coar/resource_type/c_7a1fhttp://purl.org/coar/version/c_970fb48d4fbd8a85Texthttp://purl.org/redcol/resource_type/TPRobotsRobóticaInteracción hombre-máquinaSistemas de comando y controlIngenieríaPublicationTEXTu833488.pdf.txtu833488.pdf.txtExtracted texttext/plain51126https://repositorio.uniandes.edu.co/bitstreams/d710ee2b-e071-413c-89b4-518a3e1034ed/download1ea24b07fded62d746277a78dfc6f205MD54ORIGINALu833488.pdfapplication/pdf1678276https://repositorio.uniandes.edu.co/bitstreams/27ac5dad-5e73-48bc-b478-eefddeb87556/download503d72f975b415c018adcdfde487b1c2MD51THUMBNAILu833488.pdf.jpgu833488.pdf.jpgIM Thumbnailimage/jpeg30263https://repositorio.uniandes.edu.co/bitstreams/3975bb40-87df-4881-a6ca-275ccfdcf1ea/download4ae8aab424b4c9b658065bd1f502a151MD551992/48862oai:repositorio.uniandes.edu.co:1992/488622023-10-10 19:19:56.968https://repositorio.uniandes.edu.co/static/pdf/aceptacion_uso_es.pdfopen.accesshttps://repositorio.uniandes.edu.coRepositorio institucional Sénecaadminrepositorio@uniandes.edu.co