Navegación autónoma y evasión de obstáculos en UAV usando aprendizaje por refuerzo

La navegación autónoma en entornos no estructurados es una de las tareas más desafiantes para los vehículos aéreos no tripulados (UAV). Para enfrentar esta clase de retos es necesario el uso de algoritmos complejos de control y de aprendizaje que colaboren en procesos de adaptación del vehículo no t...

Full description

Autores:: Bravo Navarro, María Carolina
Ruiz Barreto, Diego Felipe

Tipo de recurso:: Trabajo de grado de pregrado

Fecha de publicación:: 2019

Institución:: Universidad Santo Tomás

Repositorio:: Repositorio Institucional USTA

Idioma:: spa

id	SANTTOMAS2_cf7db90a8a9a5c190aed205f2a06d4ab
oai_identifier_str	oai:repository.usta.edu.co:11634/19029
network_acronym_str	SANTTOMAS2
network_name_str	Repositorio Institucional USTA
repository_id_str
dc.title.spa.fl_str_mv	Navegación autónoma y evasión de obstáculos en UAV usando aprendizaje por refuerzo
title	Navegación autónoma y evasión de obstáculos en UAV usando aprendizaje por refuerzo
spellingShingle	Navegación autónoma y evasión de obstáculos en UAV usando aprendizaje por refuerzo Algorithm Reinforcement Learning Q-learning Reward Simulation UAVs Aprendizaje por refuerzo Recompensa -- Psicologia Simulacion por computadores Algoritmo Aprendizaje por refuerzo Q-learning Recompensa Simulacion UAVs
title_short	Navegación autónoma y evasión de obstáculos en UAV usando aprendizaje por refuerzo
title_full	Navegación autónoma y evasión de obstáculos en UAV usando aprendizaje por refuerzo
title_fullStr	Navegación autónoma y evasión de obstáculos en UAV usando aprendizaje por refuerzo
title_full_unstemmed	Navegación autónoma y evasión de obstáculos en UAV usando aprendizaje por refuerzo
title_sort	Navegación autónoma y evasión de obstáculos en UAV usando aprendizaje por refuerzo
dc.creator.fl_str_mv	Bravo Navarro, María Carolina Ruiz Barreto, Diego Felipe
dc.contributor.advisor.spa.fl_str_mv	Calderón Chávez, Juan Manuel Higuera Arias, Carolina
dc.contributor.author.spa.fl_str_mv	Bravo Navarro, María Carolina Ruiz Barreto, Diego Felipe
dc.contributor.orcid.spa.fl_str_mv	https://orcid.org/0000-0001-5141-0817
dc.contributor.googlescholar.spa.fl_str_mv	https://scholar.google.es/citations?user=ZaxycbsAAAAJ&hl=es
dc.contributor.cvlac.spa.fl_str_mv	http://scienti.colciencias.gov.co:8081/cvlac/visualizador/generarCurriculoCv.do?cod_rh=0001469151 http://scienti.colciencias.gov.co:8081/cvlac/visualizador/generarCurriculoCv.do?cod_rh=0000380938
dc.subject.keyword.spa.fl_str_mv	Algorithm Reinforcement Learning Q-learning Reward Simulation UAVs
topic	Algorithm Reinforcement Learning Q-learning Reward Simulation UAVs Aprendizaje por refuerzo Recompensa -- Psicologia Simulacion por computadores Algoritmo Aprendizaje por refuerzo Q-learning Recompensa Simulacion UAVs
dc.subject.lemb.spa.fl_str_mv	Aprendizaje por refuerzo Recompensa -- Psicologia Simulacion por computadores
dc.subject.proposal.spa.fl_str_mv	Algoritmo Aprendizaje por refuerzo Q-learning Recompensa Simulacion UAVs
description	La navegación autónoma en entornos no estructurados es una de las tareas más desafiantes para los vehículos aéreos no tripulados (UAV). Para enfrentar esta clase de retos es necesario el uso de algoritmos complejos de control y de aprendizaje que colaboren en procesos de adaptación del vehículo no tripulado a los continuos cambios del ambiente en el que navega. Uno de los campos de la inteligencia artificial más prometedores en tareas de aprendizaje no supervisado es el aprendizaje por refuerzo. Este trabajo propone el uso de Q-Learning en tiempo real, para generar el sistema de aprendizaje de navegación de un UAV. Dado que el proceso de aprendizaje toma bastante tiempo y los UAVs tienen una autonomía de vuelo bastante limitada por la capacidad de la batería. Para esto se propone el uso de un ambiente de simulación que permita la evolución del sistema de aprendizaje independientemente de las limitaciones de autonomía de un robot real, en donde el robot aprenderá a navegar autónomamente y evadir obstáculos. Se presenta una propuesta usando aprendizaje por refuerzo más específicamente la técnica de Q-Learning para resolver el problema de la navegación autónoma en un UAV, en la solución propuesta se establecen los estados del agente teniendo en cuenta varios factores, como es la lectura de los sensores en la detección de obstáculos, la distancia que hay entre el agente y el objetivo, y la dirección hacia donde se encuentra el GOAL. Para esta solución son establecidas 8 acciones que son los movimientos que el UAV puede realizar, una política de premios y castigos para evaluar el aprendizaje del agente, Se implementa la técnica propuesta en el software matemático MATLAB y el entorno de simulación virtual V-REP, para acercarse lo más posible a un escenario real como lo es el rescate de personas en desastres naturales, en la entrega de paquetes, en la agricultura de precisión, entre otras aplicaciones.
publishDate	2019
dc.date.accessioned.spa.fl_str_mv	2019-10-03T22:24:09Z
dc.date.available.spa.fl_str_mv	2019-10-03T22:24:09Z
dc.date.issued.spa.fl_str_mv	2019-10-03
dc.type.local.spa.fl_str_mv	Trabajo de grado
dc.type.version.none.fl_str_mv	info:eu-repo/semantics/acceptedVersion
dc.type.category.spa.fl_str_mv	Formación de Recurso Humano para la Ctel: Trabajo de grado de Pregrado
dc.type.coar.none.fl_str_mv	http://purl.org/coar/resource_type/c_7a1f
dc.type.drive.none.fl_str_mv	info:eu-repo/semantics/bachelorThesis
format	http://purl.org/coar/resource_type/c_7a1f
status_str	acceptedVersion
dc.identifier.citation.spa.fl_str_mv	Bravo, M., & Ruiz, D. (2019). Navegación autónoma y evasión de obstáculos en UAV usando aprendizaje por refuerzo . Bogotá: Universidad Santo Tomas, Bogotá.
dc.identifier.uri.none.fl_str_mv	http://hdl.handle.net/11634/19029
dc.identifier.reponame.spa.fl_str_mv	reponame:Repositorio Institucional Universidad Santo Tomás
dc.identifier.instname.spa.fl_str_mv	instname:Universidad Santo Tomás
dc.identifier.repourl.spa.fl_str_mv	repourl:https://repository.usta.edu.co
identifier_str_mv	Bravo, M., & Ruiz, D. (2019). Navegación autónoma y evasión de obstáculos en UAV usando aprendizaje por refuerzo . Bogotá: Universidad Santo Tomas, Bogotá. reponame:Repositorio Institucional Universidad Santo Tomás instname:Universidad Santo Tomás repourl:https://repository.usta.edu.co
url	http://hdl.handle.net/11634/19029
dc.language.iso.spa.fl_str_mv	spa
language	spa
dc.relation.references.spa.fl_str_mv	[1] C. Fu, A. Carrio, M.A. Olivares-Mendez, R. Suarez-Fernandez y P. Campoy, “Robust real-time vision-based aircraft tracking from Unmanned Aerial Vehicles”. IEEE International Conference on Robotics and Automation (ICRA), 24 September 2014. [2] C.Wang, J. Wang, X. Zhang and X. Zhang, “Autonomous Navigation of UAV in large-Scale unknown complex environment with deep reinforcement learning”, Tsinghua University, China. [3] H.X. Pham, Hung. M. La, D. Feil-Seifer, L.V. Nguyen, “Autonomous UAV Navigation Using Reinforcement Learning”, 2018. [4] Baez, H., Perez, K., Rojas, E., Rodríguez, S., Lopez, J., Quintero, C., & Calderón, J. M. (2013, November). Application of an educational strategy based on a soccer robotic platform. In 2013 16th International Conference on Advanced Robotics (ICAR) (pp. 1-6). IEEE [5] Calderon, J. M., Rojas, E. R., Rodriguez, S., Baez, H. R., & Lopez, J. A. (2012, July). A Robot soccer team as a strategy to develop educational iniciatives. In Latin American and Caribbean Conference for Engineering and Technology, Panama City, Panama. [6] Rodrıguez, S., Rojas, E., Pérez, K., Quintero, C., Pena, O., Reyes, A., & Calderón, J. (2013). STOx’s 2013 Team Description Paper. [7] Rodrıguez, S., Rojas, E., Pérez, K., López, J., Quintero, C., Calderón, J. M., & Pena, O. (2014). STOx’s 2015 Extended Team Description Paper. Joao Pessoa, Brazil. [8] Rodríguez, S., Rojas, E., Pérez, K., López, J., Quintero, C., & Calderón, J. (2014, July). Fast path planning algorithm for the robocup small size league. In Robot Soccer World Cup (pp. 407-418). Springer, Cham. [9] Quintero, C., Rodríguez, S., Pérez, K., López, J., Rojas, E., & Calderón, J. (2014, July). Learning soccer drills for the small size league of robocup. In Robot Soccer World Cup (pp. 395-406). Springer, Cham. [10] Cardona, G. A., Moreno, W., Weitzenfeld, A., & Calderon, J. M. (2016, March). Reduction of impact force in falling robots using variable stiffness. In SoutheastCon 2016 (pp. 1-6). IEEE. [11] Elibol, E., Calderon, J., Llofriu, M., Quintero, C., Moreno, W., & Weitzenfeld, A. (2015, July). Power usage reduction of humanoid standing process using q-learning. In Robot Soccer World Cup (pp. 251-263). Springer, Cham. [12] Elibol, E., Calderon, J., & Weitzenfeld, A. (2013, June). Optimizing energy usage through variable joint stiffness control during humanoid robot walking. In Robot Soccer World Cup (pp. 492-503). Springer, Berlin, Heidelberg. [13] Calderon, J. M., Elibol, E., Moreno, W., & Weitzenfeld, A. (2013). Current usage reduction through stiffness control in humanoid robot. In 8th Workshop on Humanoid Soccer Robots, IEEE-RAS International Conference on Humanoid Robots. [14] G. Sánchez, M. Mulero, E. Saumeth, “Vehículos Aéreos no tripulados, Drones”, Mayo 2013. Available: https://www.infodefensa.com/wp-content/uploads/Vehiculos_aereos_no_tripulados_en_Latam.pdf [15] C.Juan, “¿Cómo aprovechar los drones en la industria logística?”, Escuela de negocios de la innovación y los emprendedores, España, 2016. Available: https://www.iebschool.com/blog/drones-en-la-industria-logistica/ [16] J. Lluís Micó, “Drones (para) reporteros”, La vanguardia, España, 2018. Available: https://www.lavanguardia.com/tecnologia/20180225/441003672054/dron-periodismo-reporteros-crisis-universidad.html [17] P. Fruticola, “Aplicación de productos químicos con drones en la agricultura”, agritotal.com, Argentina, 2017. Available: https://www.agritotal.com/nota/32047-aplicacion-de-productos-quimicos-con-drones-en-la-agricultura/ [18] R. S. Sutton and A. G. Barto, Reinforcement learning: An Introduction. Cambridge, MA: MIT press, 1998. [19] J. Kober, J. A. Bagnell, and J. Peters, “Reinforcement learning in robotics: A Survey,” International Journal of Robotics Research, vol. 32, no. 11, pp. 1238–1274, 2013 [20] N. Imanberdiyev, C. Fu, E. Kayacan and M. Chen, “Autonomous Navigation of UAV by Using Real-Time Model-Based Reinforcement Learning”, School of Mechanical and Aerospace Engineering 2ST Engineering, 2016. [21] T. Sugimoto and M. Gouko, “Acquisition of hovering by actual UAV using reinforcement learning”, Tohoku Gakuin University, Japan, 2016. [22] J.Q. Cui, S. Lai, X. Dong, P. Liu, B.M. Chen, T.H. Lee, “Autonomous Navigation of UAV in forest”, IEEE International Conference on Unmanned Aircraft Systems (ICUAS) 26 June 2014. [23] S. R. B. dos Santos, C. L. Nascimento, and S. N. Givigi, “Design of attitude and path tracking controllers for quad-rotor robots using reinforcement learning,” in Aerospace Conference, 2012. [24] Y. Zeng, G. Wang and B. Xu, “A Basal Ganglia Network Centric Reinforcement Learning Model and Its Application in Unmanned Aerial Vehicle”. IEEE Transactions on cognitive and developmental systems, June 2016. [25] Z. Ma, C. Wang, Y. Niu, Z, Wang and L. Shen, “A saliency-based reinforcement learning approach for a UAV to avoid flying obstacles” Robotics and Autonomous Systems, Volume 100, February 2018, Pages 108-118. [26] B. Zhang, W. Liub, Z. Maoa, J. Liud, L. Shenc, “Cooperative and Geometric Learning Algorithm (CGLA) for path planning of UAVs with limited information”, Automatica Volume 50, Issue 3, March 2014, Pages 809-820 [27] C.A. Ibagué Ramos, J.S. Parra Torres, Comparación de estrategias de navegación utilizando teoría de multiagentes para el barrido de zonas posiblemente minadas, Universidad Santo Tomás, 2017. [28] W. Quesada, “Generación de comportamientos de enjambre en robots móviles a través del uso del aprendizaje por refuerzo”, Universidad Santo Tomás, 2019. [29] J. Kober, J. A. Bagnell and J. Peters, "Reinforcement learning in robotics: A survey," The International Journal of Robotics Research, vol. 32, (11), pp. 1238- 1274, 2013. Available: https://doi.org/10.1177/0278364913495721. DOI: 10.1177/0278364913495721. [30] P. Bristeau et al, "The Navigation and Control technology inside the AR. Drone micro UAV," IFAC Proceedings Volumes, vol. 44, (1), pp. 1477-1484, 2011. Available: https://www.sciencedirect.com/science/article/pii/S1474667016438188. [31] DOI: 10.3182/20110828-6-IT-1002.02327 [32] Quesada, W. O., Rodriguez, J. I., Murillo, J. C., Cardona, G. A., Yanguas-Rojas, D., Jaimes, L. G., & Calderón, J. M. (2018, June). Leader-Follower Formation for UAV Robot Swarm Based on Fuzzy Logic Theory. In International Conference on Artificial Intelligence and Soft Computing (pp. 740-751). Springer, Cham. [33] León, J., Cardona, G. A., Jaimes, L. G., Calderón, J. M., & Rodriguez, P. O. (2018, June). Rendezvous Consensus Algorithm Applied to the Location of Possible Victims in Disaster Zones. In International Conference on Artificial Intelligence and Soft Computing (pp. 700-710). Springer, Cham [34] Cardona, G.A.; Calderon, J.M. Robot Swarm Navigation and Victim Detection Using Rendezvous Consensus in Search and Rescue Operations. Appl. Sci. 2019, 9, 1702. [35] Yanguas-Rojas, David, et al. Victims search, identification, and evacuation with heterogeneous robot networks for search and rescue. En 2017 IEEE 3rd Colombian Conference on Automatic Control (CCAC). IEEE, 2017. p. 1-6. [36] Cardona, G.A., Yanguas-Rojas, D., Arevalo-Castiblanco, M.F. & Mojica-Nava, E. 2019, "Ant-based multi-robot exploration in non-convex space without global-connectivity constraints", 2019 18th European Control Conference, ECC 2019, pp. 2065. [37] León, J., Cardona, G. A., Botello, A., & Calderón, J. M. (2016, December). Robot swarms theory applicable to seek and rescue operation. In International Conference on Intelligent Systems Design and Applications (pp. 1061-1070). Springer, Cham. [38] Di Wu, Member, IEEE, Dmitri I. Arkhipov, Minyoung Kim, Carolyn L. Talcott, Amelia C. Regan, Member, IEEE, Julie A. McCann, Member, IEEE and Nalini Venkatasubramanian, Senior Member, IEEE, “ADDSEN: Adaptive Data Processing and Dissemination for Drone Swarms in Urban Sensing”, 2017. [39] Transductor, (4 Julio, 2017), Interacción entre V-REP y Matlab. [Online], Available: https://robologs.net/2017/07/04/interaccion-entre-v-rep-y-matlab/ [40] Adaptive Computation and Machine Learning, Thomas Dietterich, series editor, Christopher Bishop, David Heckerman, Michael Jordan, and Michael Kearns, associate editors. [41] Pitonakova, L, Giuliani, M., Pipe, A, Winfield, A. (2018) Feature and performance comparison of the V-REP, Gazebo and ARGoS robot simulators. Proceedings of the 19th Towards Autonomous Robotic Systems Conference (TAROS 2018), Lecture Notes in Computer Science, vol 10965, Springer, 357-368. http://lenkaspace.net/tutorials/programming/robotSimulatorsComparison [42] R. Kurozumi, S. Fujisawa, T. Yamamoto and Y. Suita.” Path planning for mobile robots using an improved reinforcement learning scheme,”Proceedings of the 41st SICE Annual Conference. SICE 2002., 2002, pp.2178-2183 vol.4. [43] Cardona, G. A., Bravo, C., Quesada, W., Ruiz, D., Obeng, M., Wu, X., and Calderon, J. M. "Autonomous Navigation for Exploration of Unknown Environments and Collision Avoidance in Mobile Robots Using Reinforcement Learning.” In SoutheastCon 2019, pp. 1-6. IEEE, 2019.
dc.rights.*.fl_str_mv	Atribución-NoComercial-SinDerivadas 2.5 Colombia
dc.rights.uri.*.fl_str_mv	http://creativecommons.org/licenses/by-nc-nd/2.5/co/
dc.rights.local.spa.fl_str_mv	Abierto (Texto Completo)
dc.rights.accessrights.none.fl_str_mv	info:eu-repo/semantics/openAccess
dc.rights.coar.none.fl_str_mv	http://purl.org/coar/access_right/c_abf2
rights_invalid_str_mv	Atribución-NoComercial-SinDerivadas 2.5 Colombia http://creativecommons.org/licenses/by-nc-nd/2.5/co/ Abierto (Texto Completo) http://purl.org/coar/access_right/c_abf2
eu_rights_str_mv	openAccess
dc.format.mimetype.spa.fl_str_mv	application/pdf
dc.coverage.campus.spa.fl_str_mv	CRAI-USTA Bogotá
dc.publisher.spa.fl_str_mv	Universidad Santo Tomás
dc.publisher.program.spa.fl_str_mv	Pregrado Ingeniería Electrónica
dc.publisher.faculty.spa.fl_str_mv	Facultad de Ingeniería Electrónica
institution	Universidad Santo Tomás
bitstream.url.fl_str_mv	https://repository.usta.edu.co/bitstream/11634/19029/3/2019mariabravo.pdf https://repository.usta.edu.co/bitstream/11634/19029/6/cartadederechosdeautor.pdf https://repository.usta.edu.co/bitstream/11634/19029/7/cartadefacultad.pdf https://repository.usta.edu.co/bitstream/11634/19029/4/license_rdf https://repository.usta.edu.co/bitstream/11634/19029/5/license.txt https://repository.usta.edu.co/bitstream/11634/19029/8/2019mariabravo.pdf.jpg https://repository.usta.edu.co/bitstream/11634/19029/9/cartadederechosdeautor.pdf.jpg https://repository.usta.edu.co/bitstream/11634/19029/10/cartadefacultad.pdf.jpg
bitstream.checksum.fl_str_mv	e5b03643b39999ad98e8a87b1d57f285 6e768949352ac7aa5293b7324f06f3b9 7d50f17da2fac2f22ff6161e248942b6 217700a34da79ed616c2feb68d4c5e06 f6b8c5608fa6b2f649b2d63e10c5fa73 915be68977d5fa12ae8f172ba912f1a7 ad6650fe780ba5717ecef49b2e513b35 3eb856e226bd55ec07d78a6927ad3f27
bitstream.checksumAlgorithm.fl_str_mv	MD5 MD5 MD5 MD5 MD5 MD5 MD5 MD5
repository.name.fl_str_mv	Repositorio Universidad Santo Tomás
repository.mail.fl_str_mv	repositorio@usantotomas.edu.co
_version_	1782026115592749056
spelling	Calderón Chávez, Juan ManuelHiguera Arias, CarolinaBravo Navarro, María CarolinaRuiz Barreto, Diego Felipehttps://orcid.org/0000-0001-5141-0817https://scholar.google.es/citations?user=ZaxycbsAAAAJ&hl=eshttp://scienti.colciencias.gov.co:8081/cvlac/visualizador/generarCurriculoCv.do?cod_rh=0001469151http://scienti.colciencias.gov.co:8081/cvlac/visualizador/generarCurriculoCv.do?cod_rh=00003809382019-10-03T22:24:09Z2019-10-03T22:24:09Z2019-10-03Bravo, M., & Ruiz, D. (2019). Navegación autónoma y evasión de obstáculos en UAV usando aprendizaje por refuerzo . Bogotá: Universidad Santo Tomas, Bogotá.http://hdl.handle.net/11634/19029reponame:Repositorio Institucional Universidad Santo Tomásinstname:Universidad Santo Tomásrepourl:https://repository.usta.edu.coLa navegación autónoma en entornos no estructurados es una de las tareas más desafiantes para los vehículos aéreos no tripulados (UAV). Para enfrentar esta clase de retos es necesario el uso de algoritmos complejos de control y de aprendizaje que colaboren en procesos de adaptación del vehículo no tripulado a los continuos cambios del ambiente en el que navega. Uno de los campos de la inteligencia artificial más prometedores en tareas de aprendizaje no supervisado es el aprendizaje por refuerzo. Este trabajo propone el uso de Q-Learning en tiempo real, para generar el sistema de aprendizaje de navegación de un UAV. Dado que el proceso de aprendizaje toma bastante tiempo y los UAVs tienen una autonomía de vuelo bastante limitada por la capacidad de la batería. Para esto se propone el uso de un ambiente de simulación que permita la evolución del sistema de aprendizaje independientemente de las limitaciones de autonomía de un robot real, en donde el robot aprenderá a navegar autónomamente y evadir obstáculos. Se presenta una propuesta usando aprendizaje por refuerzo más específicamente la técnica de Q-Learning para resolver el problema de la navegación autónoma en un UAV, en la solución propuesta se establecen los estados del agente teniendo en cuenta varios factores, como es la lectura de los sensores en la detección de obstáculos, la distancia que hay entre el agente y el objetivo, y la dirección hacia donde se encuentra el GOAL. Para esta solución son establecidas 8 acciones que son los movimientos que el UAV puede realizar, una política de premios y castigos para evaluar el aprendizaje del agente, Se implementa la técnica propuesta en el software matemático MATLAB y el entorno de simulación virtual V-REP, para acercarse lo más posible a un escenario real como lo es el rescate de personas en desastres naturales, en la entrega de paquetes, en la agricultura de precisión, entre otras aplicaciones.Ingeniero Electronicohttp://unidadinvestigacion.usta.edu.coPregradoapplication/pdfspaUniversidad Santo TomásPregrado Ingeniería ElectrónicaFacultad de Ingeniería ElectrónicaAtribución-NoComercial-SinDerivadas 2.5 Colombiahttp://creativecommons.org/licenses/by-nc-nd/2.5/co/Abierto (Texto Completo)info:eu-repo/semantics/openAccesshttp://purl.org/coar/access_right/c_abf2Navegación autónoma y evasión de obstáculos en UAV usando aprendizaje por refuerzoAlgorithmReinforcement LearningQ-learningRewardSimulationUAVsAprendizaje por refuerzoRecompensa -- PsicologiaSimulacion por computadoresAlgoritmoAprendizaje por refuerzoQ-learningRecompensaSimulacionUAVsTrabajo de gradoinfo:eu-repo/semantics/acceptedVersionFormación de Recurso Humano para la Ctel: Trabajo de grado de Pregradohttp://purl.org/coar/resource_type/c_7a1finfo:eu-repo/semantics/bachelorThesisCRAI-USTA Bogotá[1] C. Fu, A. Carrio, M.A. Olivares-Mendez, R. Suarez-Fernandez y P. Campoy, “Robust real-time vision-based aircraft tracking from Unmanned Aerial Vehicles”. IEEE International Conference on Robotics and Automation (ICRA), 24 September 2014.[2] C.Wang, J. Wang, X. Zhang and X. Zhang, “Autonomous Navigation of UAV in large-Scale unknown complex environment with deep reinforcement learning”, Tsinghua University, China.[3] H.X. Pham, Hung. M. La, D. Feil-Seifer, L.V. Nguyen, “Autonomous UAV Navigation Using Reinforcement Learning”, 2018.[4] Baez, H., Perez, K., Rojas, E., Rodríguez, S., Lopez, J., Quintero, C., & Calderón, J. M. (2013, November). Application of an educational strategy based on a soccer robotic platform. In 2013 16th International Conference on Advanced Robotics (ICAR) (pp. 1-6). IEEE[5] Calderon, J. M., Rojas, E. R., Rodriguez, S., Baez, H. R., & Lopez, J. A. (2012, July). A Robot soccer team as a strategy to develop educational iniciatives. In Latin American and Caribbean Conference for Engineering and Technology, Panama City, Panama.[6] Rodrıguez, S., Rojas, E., Pérez, K., Quintero, C., Pena, O., Reyes, A., & Calderón, J. (2013). STOx’s 2013 Team Description Paper.[7] Rodrıguez, S., Rojas, E., Pérez, K., López, J., Quintero, C., Calderón, J. M., & Pena, O. (2014). STOx’s 2015 Extended Team Description Paper. Joao Pessoa, Brazil.[8] Rodríguez, S., Rojas, E., Pérez, K., López, J., Quintero, C., & Calderón, J. (2014, July). Fast path planning algorithm for the robocup small size league. In Robot Soccer World Cup (pp. 407-418). Springer, Cham.[9] Quintero, C., Rodríguez, S., Pérez, K., López, J., Rojas, E., & Calderón, J. (2014, July). Learning soccer drills for the small size league of robocup. In Robot Soccer World Cup (pp. 395-406). Springer, Cham.[10] Cardona, G. A., Moreno, W., Weitzenfeld, A., & Calderon, J. M. (2016, March). Reduction of impact force in falling robots using variable stiffness. In SoutheastCon 2016 (pp. 1-6). IEEE.[11] Elibol, E., Calderon, J., Llofriu, M., Quintero, C., Moreno, W., & Weitzenfeld, A. (2015, July). Power usage reduction of humanoid standing process using q-learning. In Robot Soccer World Cup (pp. 251-263). Springer, Cham.[12] Elibol, E., Calderon, J., & Weitzenfeld, A. (2013, June). Optimizing energy usage through variable joint stiffness control during humanoid robot walking. In Robot Soccer World Cup (pp. 492-503). Springer, Berlin, Heidelberg.[13] Calderon, J. M., Elibol, E., Moreno, W., & Weitzenfeld, A. (2013). Current usage reduction through stiffness control in humanoid robot. In 8th Workshop on Humanoid Soccer Robots, IEEE-RAS International Conference on Humanoid Robots.[14] G. Sánchez, M. Mulero, E. Saumeth, “Vehículos Aéreos no tripulados, Drones”, Mayo 2013. Available: https://www.infodefensa.com/wp-content/uploads/Vehiculos_aereos_no_tripulados_en_Latam.pdf[15] C.Juan, “¿Cómo aprovechar los drones en la industria logística?”, Escuela de negocios de la innovación y los emprendedores, España, 2016. Available: https://www.iebschool.com/blog/drones-en-la-industria-logistica/[16] J. Lluís Micó, “Drones (para) reporteros”, La vanguardia, España, 2018. Available: https://www.lavanguardia.com/tecnologia/20180225/441003672054/dron-periodismo-reporteros-crisis-universidad.html[17] P. Fruticola, “Aplicación de productos químicos con drones en la agricultura”, agritotal.com, Argentina, 2017. Available: https://www.agritotal.com/nota/32047-aplicacion-de-productos-quimicos-con-drones-en-la-agricultura/[18] R. S. Sutton and A. G. Barto, Reinforcement learning: An Introduction. Cambridge, MA: MIT press, 1998.[19] J. Kober, J. A. Bagnell, and J. Peters, “Reinforcement learning in robotics: A Survey,” International Journal of Robotics Research, vol. 32, no. 11, pp. 1238–1274, 2013[20] N. Imanberdiyev, C. Fu, E. Kayacan and M. Chen, “Autonomous Navigation of UAV by Using Real-Time Model-Based Reinforcement Learning”, School of Mechanical and Aerospace Engineering 2ST Engineering, 2016.[21] T. Sugimoto and M. Gouko, “Acquisition of hovering by actual UAV using reinforcement learning”, Tohoku Gakuin University, Japan, 2016.[22] J.Q. Cui, S. Lai, X. Dong, P. Liu, B.M. Chen, T.H. Lee, “Autonomous Navigation of UAV in forest”, IEEE International Conference on Unmanned Aircraft Systems (ICUAS) 26 June 2014.[23] S. R. B. dos Santos, C. L. Nascimento, and S. N. Givigi, “Design of attitude and path tracking controllers for quad-rotor robots using reinforcement learning,” in Aerospace Conference, 2012.[24] Y. Zeng, G. Wang and B. Xu, “A Basal Ganglia Network Centric Reinforcement Learning Model and Its Application in Unmanned Aerial Vehicle”. IEEE Transactions on cognitive and developmental systems, June 2016.[25] Z. Ma, C. Wang, Y. Niu, Z, Wang and L. Shen, “A saliency-based reinforcement learning approach for a UAV to avoid flying obstacles” Robotics and Autonomous Systems, Volume 100, February 2018, Pages 108-118.[26] B. Zhang, W. Liub, Z. Maoa, J. Liud, L. Shenc, “Cooperative and Geometric Learning Algorithm (CGLA) for path planning of UAVs with limited information”, Automatica Volume 50, Issue 3, March 2014, Pages 809-820[27] C.A. Ibagué Ramos, J.S. Parra Torres, Comparación de estrategias de navegación utilizando teoría de multiagentes para el barrido de zonas posiblemente minadas, Universidad Santo Tomás, 2017.[28] W. Quesada, “Generación de comportamientos de enjambre en robots móviles a través del uso del aprendizaje por refuerzo”, Universidad Santo Tomás, 2019.[29] J. Kober, J. A. Bagnell and J. Peters, "Reinforcement learning in robotics: A survey," The International Journal of Robotics Research, vol. 32, (11), pp. 1238- 1274, 2013. Available: https://doi.org/10.1177/0278364913495721. DOI: 10.1177/0278364913495721.[30] P. Bristeau et al, "The Navigation and Control technology inside the AR. Drone micro UAV," IFAC Proceedings Volumes, vol. 44, (1), pp. 1477-1484, 2011. Available: https://www.sciencedirect.com/science/article/pii/S1474667016438188.[31] DOI: 10.3182/20110828-6-IT-1002.02327[32] Quesada, W. O., Rodriguez, J. I., Murillo, J. C., Cardona, G. A., Yanguas-Rojas, D., Jaimes, L. G., & Calderón, J. M. (2018, June). Leader-Follower Formation for UAV Robot Swarm Based on Fuzzy Logic Theory. In International Conference on Artificial Intelligence and Soft Computing (pp. 740-751). Springer, Cham.[33] León, J., Cardona, G. A., Jaimes, L. G., Calderón, J. M., & Rodriguez, P. O. (2018, June). Rendezvous Consensus Algorithm Applied to the Location of Possible Victims in Disaster Zones. In International Conference on Artificial Intelligence and Soft Computing (pp. 700-710). Springer, Cham[34] Cardona, G.A.; Calderon, J.M. Robot Swarm Navigation and Victim Detection Using Rendezvous Consensus in Search and Rescue Operations. Appl. Sci. 2019, 9, 1702.[35] Yanguas-Rojas, David, et al. Victims search, identification, and evacuation with heterogeneous robot networks for search and rescue. En 2017 IEEE 3rd Colombian Conference on Automatic Control (CCAC). IEEE, 2017. p. 1-6.[36] Cardona, G.A., Yanguas-Rojas, D., Arevalo-Castiblanco, M.F. & Mojica-Nava, E. 2019, "Ant-based multi-robot exploration in non-convex space without global-connectivity constraints", 2019 18th European Control Conference, ECC 2019, pp. 2065.[37] León, J., Cardona, G. A., Botello, A., & Calderón, J. M. (2016, December). Robot swarms theory applicable to seek and rescue operation. In International Conference on Intelligent Systems Design and Applications (pp. 1061-1070). Springer, Cham.[38] Di Wu, Member, IEEE, Dmitri I. Arkhipov, Minyoung Kim, Carolyn L. Talcott, Amelia C. Regan, Member, IEEE, Julie A. McCann, Member, IEEE and Nalini Venkatasubramanian, Senior Member, IEEE, “ADDSEN: Adaptive Data Processing and Dissemination for Drone Swarms in Urban Sensing”, 2017.[39] Transductor, (4 Julio, 2017), Interacción entre V-REP y Matlab. [Online], Available: https://robologs.net/2017/07/04/interaccion-entre-v-rep-y-matlab/[40] Adaptive Computation and Machine Learning, Thomas Dietterich, series editor, Christopher Bishop, David Heckerman, Michael Jordan, and Michael Kearns, associate editors.[41] Pitonakova, L, Giuliani, M., Pipe, A, Winfield, A. (2018) Feature and performance comparison of the V-REP, Gazebo and ARGoS robot simulators. Proceedings of the 19th Towards Autonomous Robotic Systems Conference (TAROS 2018), Lecture Notes in Computer Science, vol 10965, Springer, 357-368. http://lenkaspace.net/tutorials/programming/robotSimulatorsComparison[42] R. Kurozumi, S. Fujisawa, T. Yamamoto and Y. Suita.” Path planning for mobile robots using an improved reinforcement learning scheme,”Proceedings of the 41st SICE Annual Conference. SICE 2002., 2002, pp.2178-2183 vol.4.[43] Cardona, G. A., Bravo, C., Quesada, W., Ruiz, D., Obeng, M., Wu, X., and Calderon, J. M. "Autonomous Navigation for Exploration of Unknown Environments and Collision Avoidance in Mobile Robots Using Reinforcement Learning.” In SoutheastCon 2019, pp. 1-6. IEEE, 2019.ORIGINAL2019mariabravo.pdf2019mariabravo.pdfapplication/pdf11452249https://repository.usta.edu.co/bitstream/11634/19029/3/2019mariabravo.pdfe5b03643b39999ad98e8a87b1d57f285MD53open accesscartadederechosdeautor.pdfcartadederechosdeautor.pdfapplication/pdf1732776https://repository.usta.edu.co/bitstream/11634/19029/6/cartadederechosdeautor.pdf6e768949352ac7aa5293b7324f06f3b9MD56metadata only accesscartadefacultad.pdfcartadefacultad.pdfapplication/pdf1777673https://repository.usta.edu.co/bitstream/11634/19029/7/cartadefacultad.pdf7d50f17da2fac2f22ff6161e248942b6MD57metadata only accessCC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8811https://repository.usta.edu.co/bitstream/11634/19029/4/license_rdf217700a34da79ed616c2feb68d4c5e06MD54open accessLICENSElicense.txtlicense.txttext/plain; charset=utf-8807https://repository.usta.edu.co/bitstream/11634/19029/5/license.txtf6b8c5608fa6b2f649b2d63e10c5fa73MD55open accessTHUMBNAIL2019mariabravo.pdf.jpg2019mariabravo.pdf.jpgIM Thumbnailimage/jpeg3814https://repository.usta.edu.co/bitstream/11634/19029/8/2019mariabravo.pdf.jpg915be68977d5fa12ae8f172ba912f1a7MD58open accesscartadederechosdeautor.pdf.jpgcartadederechosdeautor.pdf.jpgIM Thumbnailimage/jpeg7884https://repository.usta.edu.co/bitstream/11634/19029/9/cartadederechosdeautor.pdf.jpgad6650fe780ba5717ecef49b2e513b35MD59open accesscartadefacultad.pdf.jpgcartadefacultad.pdf.jpgIM Thumbnailimage/jpeg7125https://repository.usta.edu.co/bitstream/11634/19029/10/cartadefacultad.pdf.jpg3eb856e226bd55ec07d78a6927ad3f27MD510open access11634/19029oai:repository.usta.edu.co:11634/190292022-10-10 17:00:32.295open accessRepositorio Universidad Santo Tomásrepositorio@usantotomas.edu.coQXV0b3Jpem8gYWwgQ2VudHJvIGRlIFJlY3Vyc29zIHBhcmEgZWwgQXByZW5kaXphamUgeSBsYSBJbnZlc3RpZ2FjacOzbiwgQ1JBSS1VU1RBIGRlIGxhIFVuaXZlcnNpZGFkIFNhbnRvIFRvbcOhcywgcGFyYSBxdWUgY29uIGZpbmVzIGFjYWTDqW1pY29zIGFsbWFjZW5lIGxhIGluZm9ybWFjacOzbiBpbmdyZXNhZGEgcHJldmlhbWVudGUuCgpTZSBwZXJtaXRlIGxhIGNvbnN1bHRhLCByZXByb2R1Y2Npw7NuIHBhcmNpYWwsIHRvdGFsIG8gY2FtYmlvIGRlIGZvcm1hdG8gY29uIGZpbmVzIGRlIGNvbnNlcnZhY2nDs24sIGEgbG9zIHVzdWFyaW9zIGludGVyZXNhZG9zIGVuIGVsIGNvbnRlbmlkbyBkZSBlc3RlIHRyYWJham8sIHBhcmEgdG9kb3MgbG9zIHVzb3MgcXVlIHRlbmdhbiBmaW5hbGlkYWQgYWNhZMOpbWljYSwgc2llbXByZSB5IGN1YW5kbyBtZWRpYW50ZSBsYSBjb3JyZXNwb25kaWVudGUgY2l0YSBiaWJsaW9ncsOhZmljYSBzZSBsZSBkw6kgY3LDqWRpdG8gYWwgdHJhYmFqbyBkZSBncmFkbyB5IGEgc3UgYXV0b3IuIERlIGNvbmZvcm1pZGFkIGNvbiBsbyBlc3RhYmxlY2lkbyBlbiBlbCBhcnTDrWN1bG8gMzAgZGUgbGEgTGV5IDIzIGRlIDE5ODIgeSBlbCBhcnTDrWN1bG8gMTEgZGUgbGEgRGVjaXNpw7NuIEFuZGluYSAzNTEgZGUgMTk5Mywg4oCcTG9zIGRlcmVjaG9zIG1vcmFsZXMgc29icmUgZWwgdHJhYmFqbyBzb24gcHJvcGllZGFkIGRlIGxvcyBhdXRvcmVz4oCdLCBsb3MgY3VhbGVzIHNvbiBpcnJlbnVuY2lhYmxlcywgaW1wcmVzY3JpcHRpYmxlcywgaW5lbWJhcmdhYmxlcyBlIGluYWxpZW5hYmxlcy4K

Navegación autónoma y evasión de obstáculos en UAV usando aprendizaje por refuerzo

Publicaciones similares