Evaluación de Algoritmos de Navegación a través de Aprendizaje por Refuerzo Profundo sobre el Vehículo Autónomo Deep Racer AWS

El presente trabajo de grado tiene como objetivo comparar algoritmos de aprendizaje por refuerzo profundo, también conocido como Deep Reinforcement Learning, en el contexto de la navegación autónoma. Se evaluaron tres algoritmos en particular: SAC (Soft Actor-Critic), PPO (Proximal Policy Optimizati...

Full description

Autores:
Gil Suarez, Andres Leonardo
Tipo de recurso:
Trabajo de grado de pregrado
Fecha de publicación:
2023
Institución:
Universidad Santo Tomás
Repositorio:
Repositorio Institucional USTA
Idioma:
spa
OAI Identifier:
oai:repository.usta.edu.co:11634/53207
Acceso en línea:
http://hdl.handle.net/11634/53207
Palabra clave:
Deep Reinforcement Learning
Autonomous Vehicle
Metrics
Comparison
Navigation Track
Ingeniería Electrónica
Algoritmos-Aprendizaje
Simulación Virtual
Aprendizaje por refuerzo profundo
Vehículo autónomo
Métricas
Comparación
Pista de navegación
Rights
openAccess
License
Atribución-NoComercial-SinDerivadas 2.5 Colombia
id SANTOTOMAS_0a2392088eaef7cf4bfc072a9ae56ecc
oai_identifier_str oai:repository.usta.edu.co:11634/53207
network_acronym_str SANTOTOMAS
network_name_str Repositorio Institucional USTA
repository_id_str
dc.title.spa.fl_str_mv Evaluación de Algoritmos de Navegación a través de Aprendizaje por Refuerzo Profundo sobre el Vehículo Autónomo Deep Racer AWS
title Evaluación de Algoritmos de Navegación a través de Aprendizaje por Refuerzo Profundo sobre el Vehículo Autónomo Deep Racer AWS
spellingShingle Evaluación de Algoritmos de Navegación a través de Aprendizaje por Refuerzo Profundo sobre el Vehículo Autónomo Deep Racer AWS
Deep Reinforcement Learning
Autonomous Vehicle
Metrics
Comparison
Navigation Track
Ingeniería Electrónica
Algoritmos-Aprendizaje
Simulación Virtual
Aprendizaje por refuerzo profundo
Vehículo autónomo
Métricas
Comparación
Pista de navegación
title_short Evaluación de Algoritmos de Navegación a través de Aprendizaje por Refuerzo Profundo sobre el Vehículo Autónomo Deep Racer AWS
title_full Evaluación de Algoritmos de Navegación a través de Aprendizaje por Refuerzo Profundo sobre el Vehículo Autónomo Deep Racer AWS
title_fullStr Evaluación de Algoritmos de Navegación a través de Aprendizaje por Refuerzo Profundo sobre el Vehículo Autónomo Deep Racer AWS
title_full_unstemmed Evaluación de Algoritmos de Navegación a través de Aprendizaje por Refuerzo Profundo sobre el Vehículo Autónomo Deep Racer AWS
title_sort Evaluación de Algoritmos de Navegación a través de Aprendizaje por Refuerzo Profundo sobre el Vehículo Autónomo Deep Racer AWS
dc.creator.fl_str_mv Gil Suarez, Andres Leonardo
dc.contributor.advisor.none.fl_str_mv Amaya, Sindy Paola
Calderón Chávez, Juan Manuel
Cruz Capador, Gerson David
dc.contributor.author.none.fl_str_mv Gil Suarez, Andres Leonardo
dc.contributor.orcid.spa.fl_str_mv https://orcid.org/0000-0002-1714-1593
https://orcid.org/0000-0002-4471-3980
https://orcid.org/0000-0002-3723-7509
dc.contributor.googlescholar.spa.fl_str_mv https://scholar.google.com/citations?hl=es&user=Gg2sofAAAAAJ
https://scholar.google.com/citations?hl=es&user=fVo6U9MAAAAJ
dc.contributor.cvlac.spa.fl_str_mv https://scienti.minciencias.gov.co/cvlac/visualizador/generarCurriculoCv.do?cod_rh=0000796425
https://scienti.minciencias.gov.co/cvlac/visualizador/generarCurriculoCv.do?cod_rh=0000380938
https://scienti.minciencias.gov.co/cvlac/visualizador/generarCurriculoCv.do?cod_rh=0001334709
https://scienti.minciencias.gov.co/cvlac/visualizador/generarCurriculoCv.do?cod_rh=0001853433
dc.contributor.corporatename.spa.fl_str_mv Universidad Santo Tomás
dc.subject.keyword.spa.fl_str_mv Deep Reinforcement Learning
Autonomous Vehicle
Metrics
Comparison
Navigation Track
topic Deep Reinforcement Learning
Autonomous Vehicle
Metrics
Comparison
Navigation Track
Ingeniería Electrónica
Algoritmos-Aprendizaje
Simulación Virtual
Aprendizaje por refuerzo profundo
Vehículo autónomo
Métricas
Comparación
Pista de navegación
dc.subject.lemb.spa.fl_str_mv Ingeniería Electrónica
Algoritmos-Aprendizaje
Simulación Virtual
dc.subject.proposal.spa.fl_str_mv Aprendizaje por refuerzo profundo
Vehículo autónomo
Métricas
Comparación
Pista de navegación
description El presente trabajo de grado tiene como objetivo comparar algoritmos de aprendizaje por refuerzo profundo, también conocido como Deep Reinforcement Learning, en el contexto de la navegación autónoma. Se evaluaron tres algoritmos en particular: SAC (Soft Actor-Critic), PPO (Proximal Policy Optimization) y una versión modificada de SAC. Las pruebas se llevaron a cabo en el vehículo autónomo Deep Racer de la empresa AWS. Para llevar a cabo la evaluación, se implementó cada algoritmo tanto en una simulación virtual como en el vehículo autónomo físico. Se realizaron múltiples pruebas en una pista de navegación estandarizada para garantizar la consistencia de los resultados. Durante estas pruebas, se recopilaron datos sobre el desempeño de cada algoritmo, incluyendo métricas como el tiempo de ejecución, la distancia recorrida y la velocidad alcanzada. Después de recopilar los datos experimentales, se realiza un análisis comparativo de los resultados obtenidos por cada algoritmo. Se evalúa su rendimiento en base a las métricas establecidas y se identifican las fortalezas y debilidades de cada uno.
publishDate 2023
dc.date.accessioned.none.fl_str_mv 2023-12-12T22:35:55Z
dc.date.available.none.fl_str_mv 2023-12-12T22:35:55Z
dc.date.issued.none.fl_str_mv 2023-12-12
dc.type.local.spa.fl_str_mv Trabajo de grado
dc.type.version.none.fl_str_mv info:eu-repo/semantics/acceptedVersion
dc.type.coar.none.fl_str_mv http://purl.org/coar/resource_type/c_7a1f
dc.type.drive.none.fl_str_mv info:eu-repo/semantics/bachelorThesis
format http://purl.org/coar/resource_type/c_7a1f
status_str acceptedVersion
dc.identifier.citation.spa.fl_str_mv Gil Suarez, A. L. (2023). Evaluación de Algoritmos de Navegación a través de Aprendizaje por Refuerzo Profundo sobre el Vehículo Autónomo Deep Racer AWS [Trabajo de Grado, Universidad Santo Tomás]. Repositorio Institucional.
dc.identifier.uri.none.fl_str_mv http://hdl.handle.net/11634/53207
dc.identifier.reponame.spa.fl_str_mv reponame:Repositorio Institucional Universidad Santo Tomás
dc.identifier.instname.spa.fl_str_mv instname:Universidad Santo Tomás
dc.identifier.repourl.spa.fl_str_mv repourl:https://repository.usta.edu.co
identifier_str_mv Gil Suarez, A. L. (2023). Evaluación de Algoritmos de Navegación a través de Aprendizaje por Refuerzo Profundo sobre el Vehículo Autónomo Deep Racer AWS [Trabajo de Grado, Universidad Santo Tomás]. Repositorio Institucional.
reponame:Repositorio Institucional Universidad Santo Tomás
instname:Universidad Santo Tomás
repourl:https://repository.usta.edu.co
url http://hdl.handle.net/11634/53207
dc.language.iso.spa.fl_str_mv spa
language spa
dc.relation.references.spa.fl_str_mv Agencia Nacional de Seguridad Vial. Histórico víctimas | ANSV. 2021. url: https://ansv.gov.co/ es/observatorio/estadisticas/historico-victimas.
City TV Noticias. (2023). En el primer semestre de 2023 se reportaron 283 muertes en accidentes de tránsito en Bogotá. Recuperado de https://citytv.eltiempo.com/noticias/movilidad/en-el-primer-semestre-de-2023-se-reportaron-283-muertes-en-accidentes-de-transito-en-bogota_61659
Policía Nacional de Colombia. (2018). Realizamos campaña preventiva de seguridad vial ¡Y tú! ¿En qué vehículo te vas a ir? Recuperado de https://www.policia.gov.co/noticia/realizamos-campana-preventiva-seguridad-vial-y-tu-que-vehiculo-te-vas-ir
Adetunji, J. (2021, mayo). Si un vehículo autónomo tiene un accidente, ¿quién es el responsable? Recuperado de https://theconversation.com/si-un-vehiculo-autonomo-tiene-un-accidente-quien-es-el-responsable-161314
Medicina Legal y Ciencia Forense. (2022, julio). Boletines estadísticos mensuales. Recuperado de https://www.medicinalegal.gov.co/documents/20143/742818/Boletin_julio_2022.pdf/75a56f6a-b1f6-1334-959a-7f0ffd466f6f
Li, J., Abusharkh, M., & Xu, Y. (2022, agosto). DeepRacer Model Training for autonomous vehicles on AWS EC2. Instituto de Ingenieros Eléctricos y Electrónicos (IEEE). https://doi.org/10.1109/ITC-EGYPT55520.2022.9855675
Sanchez Arango, S. (2014, diciembre). Vehículos autónomos: los beneficios ambientales de una tecnología prometedora. Recuperado de https://ecosiglos.com/vehiculos-autonomos-los-beneficios-ambientales-de-una-tecnologia-prometedora/
Ortiz Rocha, J. (2021, noviembre). Vehículos autónomos: Debemos prepararnos para su llegada | Uniandes. Recuperado de https://uniandes.edu.co/es/noticias/ingenieria/vehiculos-autonomos-el-futuro-es-ahora/
Bureau, M. (2017, enero). Vehículos autónomos, ideales para conductores discapacitados. Recuperado de https://www.motorpasion.com.mx/nissan/nissan-afirma-que-los-vehiculos-autonomos-son-ideales-para-conductores-discapacitados-y-de-la-tercera-edad
Redacción. (2019, marzo). Coches autónomos: ¿Qué son y cómo ayudan al medio ambiente? Recuperado de https://www.nuevamovilidad.com/movilidad-compartida/coches-autonomos-que-son-y-como-ayudan-al-medio-ambiente/
Shamout, M., Ben-Abdallah, R., Alshurideh, M., Alzoubi, H., Al Kurdi, B., & Hamadneh, S. (2022). A conceptual model for the adoption of autonomous robots in supply chain and logistics industry. Uncertain Supply Chain Management, 10(2), 577-592. https://doi.org/10.5267/J.USCM.2021.11.006
Panesar, S., Cagle, Y., Chander, D., Morey, J., Fernandez-Miranda, J., & Kliot, M. (2019, agosto). Artificial Intelligence and the Future of Surgical Robotics. Annals of Surgery, 270(2), 223-226. https://doi.org/10.1097/SLA.0000000000003262
Ingrand, F., & Ghallab, M. (2017, junio). Deliberation for autonomous robots: A survey. Artificial Intelligence, 247, 10-44. https://doi.org/10.1016/J.ARTINT.2014.11.003
Yandun. (2012). Planeación y seguimiento de trayectorias para un robot móvil [PDF]. Recuperado de https://www.researchgate.net/publication/277756099_Planeacion_y_seguimiento_de_trayectorias_para_un_robot_movil
Quintero, C. G., & Cuervo, A. C. (2017, julio). Intelligent driving assistant based on accident risk maps analysis and intelligent driving diagnosis. IEEE Intelligent Vehicles Symposium, Proceedings, 914-919. https://doi.org/10.1109/IVS.2017.7995832
Skiba, S. (2019). Vehículos autónomos y sus beneficios para personas mayores. Recuperado de https://www.aarp.org/espanol/hogar-familia/transporte-comunidades/info-2019/vehiculos-autonomos-para-personas-mayores.html
Poinsignon, F., Chen, L., Jiang, S., Gao, K., Badia, H., & Jenelius, E. (2022, julio). Autonomous Vehicle Fleets for Public Transport: Scenarios and Comparisons. Green Energy and Intelligent Transportation, 1, 100019. https://doi.org/10.1016/J.GEITS.2022.100019
Sharma, O., Sahoo, N. C., & Puhan, N. B. (2021, mayo). Recent advances in motion and behavior planning techniques for software architecture of autonomous vehicles: A state-of-the-art survey. Engineering Applications of Artificial Intelligence, 101, 104211. https://doi.org/10.1016/J.ENGAPPAI.2021.104211
Google. (2022). Company – Waymo. Recuperado de https://waymo.com/intl/es/company/#story
Tesla. (2022). Acerca de | Tesla. Recuperado de https://www.tesla.com/es_ES/about
Pérez, E. (2021, julio). El "quién es quién" del vehículo autónomo: estas son las compañías que quieren hacerse con el sector. Recuperado de https://www.xataka.com/vehiculos/quien-quien-vehiculo-autonomo-estas-companias-que-quieren-hacerse-sector
Mahaleh, M. B. B., & Mirroshandel, S. A. (2018, septiembre). Harmony search path detection for vision-based automated guided vehicle. Robotics and Autonomous Systems, 107, 156-166. https://doi.org/10.1016/J.ROBOT.2018.06.008
Cota, J. L., Rodriguez, J. A. T., Alonso, B. G., & Hurtado, C. V. (2022). Roadmap for development of skills in Artificial Intelligence by means of a Reinforcement Learning model using a DeepRacer autonomous vehicle. IEEE Global Engineering Education Conference, EDUCON, 2022-March, 1355-1364. https://doi.org/10.1109/EDUCON52537.2022.9766659
Ong, P., Tan, W. K. S., & Low, E. S. (2021, junio). Vision-based path detection of an automated guided vehicle using flower pollination algorithm. Ain Shams Engineering Journal, 12(2), 2263-2274. https://doi.org/10.1016/J.ASEJ.2020.09.018
Amasings. (2020). Ética en los vehículos autónomos | Noticias de la Ciencia y la Tecnología (Amazings® / NCYT®). Recuperado de https://noticiasdelaciencia.com/art/38772/etica-en-los-vehiculos-autonomos
Sagar, V. D., & Nanjundeswaraswamy, T. S. (Sin fecha). ARTIFICIAL INTELLIGENCE IN AUTONOMOUS VEHICLES-A LITERATURE REVIEW ARTIFICIAL INTELLIGENCE IN AUTONOMOUS VEHICLES-A LITERATURE REVIEW By. Recuperado de https://www.researchgate.net/publication/333608078
Nandy, A., & Biswas, M. (2018). Reinforcement Learning. Berkeley, CA: Apress. https://doi.org/10.1007/978-1-4842-3285-9
Ghimire, M. (2021). A Study of Deep Reinforcement Learning in Autonomous Racing Using DeepRacer Car. Recuperado de https://egrove.olemiss.edu/hon_thesis/1764
Sewak, M. (2019). Deep Reinforcement Learning. Springer Singapore. https://doi.org/10.1007/978-981-13-8285-7
Shinde, P. P., & Shah, S. (2018, julio). A Review of Machine Learning and Deep Learning Applications. Proceedings - 2018 4th International Conference on Computing, Communication Control and Automation, ICCUBEA 2018. https://doi.org/10.1109/ICCUBEA.2018.8697857
Bosch Rué, A., Casas Roma, J., & Lozano Bagén, T. (2019). Deep learning: principios y fundamentos. Editorial UOC. https://doi.org/10.0/CSS/ALL.MIN.D74D1A5D029B.CSS
Asperti, A., & Del Brutto, M. (2022, marzo). MicroRacer: a didactic environment for Deep Reinforcement Learning. ArXiv. https://arxiv.org/abs/2203.10494v1
@misc{VehiculosAutonomos, title = {Vista de Vehículos autónomos: Innovación en la logística urbana}, url = {https://revistas.utp.ac.pa/index.php/ric/article/view/1864/2812}, }
AWS (Amazon Web Services). (s. f.). ¿Qué es AWS DeepRacer? - AWS DeepRacer. https://docs.aws.amazon.com/es_es/deepracer/latest/developerguide/what-is-deepracer.html
Amazon Web Services. (s. f.). Amazon SageMaker. https://us-east-1.console.aws.amazon.com/sagemaker/home?region=us-east-1#/getting-started
Amazon Web Services. (s. f.). RoboMaker. https://us-east-1.console.aws.amazon.com/robomaker/home?region=us-east-1#welcome
Amazon Web Services. (s. f.). S3 Management Console. https://s3.console.aws.amazon.com/s3/home?region=us-east-1#
Crazyflie. (s. f.). Crazyflie 2.1. Recuperado el 11 de junio de 2023, de https://www.bitcraze.io/products/crazyflie-2-1/
Desviación estándar. (s. f.). Qué es, usos y cómo obtenerla. Recuperado de https://www.questionpro.com/blog/es/desviacion-estandar/
Scopus. (s. f.). Document details - A Deep Q-Network based hand gesture recognition system for control of robotic platforms. Recuperado de https://www-scopus-com.crai-ustadigital.usantotomas.edu.co/record/display.uri?eid=2-s2.0-85159764283&origin=resultslist&sort=plf-f&src=s&sid=1060c61879e8d5b0e006d4b9f615045e&sot=b&sdt=b&s=TITLE-ABS-KEY%28Q-Learning%29&sl=25&sessionSearchId=1060c61879e8d5b0e006d4b9f615045e
Cárdenas, J. A., Carrero, U. E., Camacho, E. C., & Calderon, J. M. (2023). Intelligent Position Controller for Unmanned Aerial Vehicles (UAV) Based on Supervised Deep Learning. Machines, 11(6), 606. MDPI.
Gómez, N., Peña, N., Rincón, S., Amaya, S., & Calderon, J. (2022). Leader-follower behavior in multi-agent systems for search and rescue based on PSO approach. In SoutheastCon 2022 (pp. 413-420). IEEE.
Cárdenas, J. A., Carrero, U. E., Camacho, E. C., & Calderón, J. M. (2022). Optimal PID Ø axis Control for UAV Quadrotor based on Multi-Objective PSO. IFAC-PapersOnLine, 55(14), 101-106. Elsevier.
Cardona, G. A., Ramirez-Rugeles, J., Mojica-Nava, E., & Calderon, J. M. (2021). Visual victim detection and quadrotor-swarm coordination control in search and rescue environment. International Journal of Electrical and Computer Engineering, 11(3), 2079. IAES Institute of Advanced Engineering and Science.
Cardona, G. A., Arevalo-Castiblanco, M., Tellez-Castro, D., Calderon, J., & Mojica-Nava, E. (2021). Robust adaptive synchronization of interconnected heterogeneous quadrotors transporting a cable-suspended load. En 2021 IEEE International Conference on Robotics and Automation (ICRA) (pp. 31-37). IEEE.
Paez, D., Romero, J. P., Noriega, B., Cardona, G. A., & Calderon, J. M. (2021). Distributed particle swarm optimization for multi-robot system in search and rescue operations. IFAC-PapersOnLine, 54(4), 1-6. Elsevier.
Reyes, L. J. P., Oviedo, N. B., Camacho, E. C., & Calderon, J. M. (2021). Adaptable Recommendation System for Outfit Selection with Deep Learning Approach. IFAC-PapersOnLine, 54(13), 605-610. Elsevier.
Cardona, G. A., Tellez-Castro, D., Calderon, J., & Mojica-Nava, E. (2021). Adaptive Multi-Quadrotor Control for Cooperative Transportation of a Cable-Suspended Load. 2021 European Control Conference (ECC), 696-701. IEEE.
Cardona, G. A., & Calderon, J. M. (2019). Robot swarm navigation and victim detection using rendezvous consensus in search and rescue operations. Applied Sciences, 9(8), 1702. MDPI.
Cardona, G. A., Bravo, C., Quesada, W., Ruiz, D., Obeng, M., Wu, X., & Calderon, J. M. (2019). Autonomous navigation for exploration of unknown environments and collision avoidance in mobile robots using reinforcement learning. En 2019 SoutheastCon (pp. 1-7). IEEE.
Quesada, W. O., Rodriguez, J. I., Murillo, J. C., Cardona, G. A., Yanguas-Rojas, D., Jaimes, L. G., & Calderón, J. M. (2018). Leader-follower formation for UAV robot swarm based on fuzzy logic theory. En Artificial Intelligence and Soft Computing: 17th International Conference, ICAISC 2018, Zakopane, Poland, June 3-7, 2018, Proceedings, Part II (pp. 740-751). Springer.
León, J., Cardona, G. A., Botello, A., & Calderón, J. M. (2017). Robot swarms theory applicable to seek and rescue operation. En Intelligent Systems Design and Applications: 16th International Conference on Intelligent Systems Design and Applications (ISDA 2016) held in Porto, Portugal, December 16-18, 2016 (pp. 1061-1070). Springer.
dc.rights.*.fl_str_mv Atribución-NoComercial-SinDerivadas 2.5 Colombia
dc.rights.uri.*.fl_str_mv http://creativecommons.org/licenses/by-nc-nd/2.5/co/
dc.rights.local.spa.fl_str_mv Abierto (Texto Completo)
dc.rights.accessrights.none.fl_str_mv info:eu-repo/semantics/openAccess
dc.rights.coar.spa.fl_str_mv http://purl.org/coar/access_right/c_abf2
rights_invalid_str_mv Atribución-NoComercial-SinDerivadas 2.5 Colombia
http://creativecommons.org/licenses/by-nc-nd/2.5/co/
Abierto (Texto Completo)
http://purl.org/coar/access_right/c_abf2
eu_rights_str_mv openAccess
dc.format.mimetype.spa.fl_str_mv application/pdf
dc.coverage.campus.spa.fl_str_mv CRAI-USTA Bogotá
dc.publisher.spa.fl_str_mv Universidad Santo Tomás
dc.publisher.program.spa.fl_str_mv Pregrado Ingeniería Electrónica
dc.publisher.faculty.spa.fl_str_mv Facultad de Ingeniería Electrónica
institution Universidad Santo Tomás
bitstream.url.fl_str_mv https://repository.usta.edu.co/bitstream/11634/53207/4/license_rdf
https://repository.usta.edu.co/bitstream/11634/53207/6/2023Andresgil.pdf.jpg
https://repository.usta.edu.co/bitstream/11634/53207/7/Carta_aprobacion_Biblioteca%20GIL%20SUAREZ...pdf.jpg
https://repository.usta.edu.co/bitstream/11634/53207/8/Carta_autorizacion_autoarchivo_autor_2023_Gil.pdf.jpg
https://repository.usta.edu.co/bitstream/11634/53207/1/2023Andresgil.pdf
https://repository.usta.edu.co/bitstream/11634/53207/2/Carta_aprobacion_Biblioteca%20GIL%20SUAREZ...pdf
https://repository.usta.edu.co/bitstream/11634/53207/3/Carta_autorizacion_autoarchivo_autor_2023_Gil.pdf
https://repository.usta.edu.co/bitstream/11634/53207/5/license.txt
bitstream.checksum.fl_str_mv 217700a34da79ed616c2feb68d4c5e06
c8d9f4fd87c33ab400d0f80f8b421710
54317fe6cbff80e289e13491cc2afc7a
0a25e5b29dceb333c87aeb390b64665e
7702c848dc658ae3d04c4a2eb1c27a27
ad590c8986bdd586575f428e0fc57e07
cdc254a88df333bf78d21af040698ddc
aedeaf396fcd827b537c73d23464fc27
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositorio Universidad Santo Tomás
repository.mail.fl_str_mv noreply@usta.edu.co
_version_ 1860882302970626048
spelling Amaya, Sindy PaolaCalderón Chávez, Juan ManuelCruz Capador, Gerson DavidGil Suarez, Andres Leonardohttps://orcid.org/0000-0002-1714-1593https://orcid.org/0000-0002-4471-3980https://orcid.org/0000-0002-3723-7509https://scholar.google.com/citations?hl=es&user=Gg2sofAAAAAJhttps://scholar.google.com/citations?hl=es&user=fVo6U9MAAAAJhttps://scienti.minciencias.gov.co/cvlac/visualizador/generarCurriculoCv.do?cod_rh=0000796425https://scienti.minciencias.gov.co/cvlac/visualizador/generarCurriculoCv.do?cod_rh=0000380938https://scienti.minciencias.gov.co/cvlac/visualizador/generarCurriculoCv.do?cod_rh=0001334709https://scienti.minciencias.gov.co/cvlac/visualizador/generarCurriculoCv.do?cod_rh=0001853433Universidad Santo Tomás2023-12-12T22:35:55Z2023-12-12T22:35:55Z2023-12-12Gil Suarez, A. L. (2023). Evaluación de Algoritmos de Navegación a través de Aprendizaje por Refuerzo Profundo sobre el Vehículo Autónomo Deep Racer AWS [Trabajo de Grado, Universidad Santo Tomás]. Repositorio Institucional.http://hdl.handle.net/11634/53207reponame:Repositorio Institucional Universidad Santo Tomásinstname:Universidad Santo Tomásrepourl:https://repository.usta.edu.coEl presente trabajo de grado tiene como objetivo comparar algoritmos de aprendizaje por refuerzo profundo, también conocido como Deep Reinforcement Learning, en el contexto de la navegación autónoma. Se evaluaron tres algoritmos en particular: SAC (Soft Actor-Critic), PPO (Proximal Policy Optimization) y una versión modificada de SAC. Las pruebas se llevaron a cabo en el vehículo autónomo Deep Racer de la empresa AWS. Para llevar a cabo la evaluación, se implementó cada algoritmo tanto en una simulación virtual como en el vehículo autónomo físico. Se realizaron múltiples pruebas en una pista de navegación estandarizada para garantizar la consistencia de los resultados. Durante estas pruebas, se recopilaron datos sobre el desempeño de cada algoritmo, incluyendo métricas como el tiempo de ejecución, la distancia recorrida y la velocidad alcanzada. Después de recopilar los datos experimentales, se realiza un análisis comparativo de los resultados obtenidos por cada algoritmo. Se evalúa su rendimiento en base a las métricas establecidas y se identifican las fortalezas y debilidades de cada uno.The present work aims to compare deep reinforcement learning algorithms, also known as Deep Reinforcement Learning, in the context of autonomous navigation. Three algorithms in particular were evaluated: SAC (Soft Actor-Critic), PPO (Proximal Policy Optimization) and a modified version of SAC. The tests were carried out on AWS’s Deep Racer autonomous vehicle. To conduct the evaluation, each algorithm was implemented on both a virtual simulation and the physical auto nomous vehicle. Multiple tests were conducted on a standardized navigation track to ensure consistency of results. During these tests, data was collected on the performance of each algorithm, including metrics such as execution time, distance traveled, and speed achieved. After collecting the experimental data, a comparative analysis of the results obtained by each algorithm is performed. Their performance is evaluated based on the established metrics and the strengths and weaknesses of each one are identified.Ingeniero ElectronicoPregradoapplication/pdfspaUniversidad Santo TomásPregrado Ingeniería ElectrónicaFacultad de Ingeniería ElectrónicaAtribución-NoComercial-SinDerivadas 2.5 Colombiahttp://creativecommons.org/licenses/by-nc-nd/2.5/co/Abierto (Texto Completo)info:eu-repo/semantics/openAccesshttp://purl.org/coar/access_right/c_abf2Evaluación de Algoritmos de Navegación a través de Aprendizaje por Refuerzo Profundo sobre el Vehículo Autónomo Deep Racer AWSDeep Reinforcement LearningAutonomous VehicleMetricsComparisonNavigation TrackIngeniería ElectrónicaAlgoritmos-AprendizajeSimulación VirtualAprendizaje por refuerzo profundoVehículo autónomoMétricasComparaciónPista de navegaciónTrabajo de gradoinfo:eu-repo/semantics/acceptedVersionhttp://purl.org/coar/resource_type/c_7a1finfo:eu-repo/semantics/bachelorThesisCRAI-USTA BogotáAgencia Nacional de Seguridad Vial. Histórico víctimas | ANSV. 2021. url: https://ansv.gov.co/ es/observatorio/estadisticas/historico-victimas.City TV Noticias. (2023). En el primer semestre de 2023 se reportaron 283 muertes en accidentes de tránsito en Bogotá. Recuperado de https://citytv.eltiempo.com/noticias/movilidad/en-el-primer-semestre-de-2023-se-reportaron-283-muertes-en-accidentes-de-transito-en-bogota_61659Policía Nacional de Colombia. (2018). Realizamos campaña preventiva de seguridad vial ¡Y tú! ¿En qué vehículo te vas a ir? Recuperado de https://www.policia.gov.co/noticia/realizamos-campana-preventiva-seguridad-vial-y-tu-que-vehiculo-te-vas-irAdetunji, J. (2021, mayo). Si un vehículo autónomo tiene un accidente, ¿quién es el responsable? Recuperado de https://theconversation.com/si-un-vehiculo-autonomo-tiene-un-accidente-quien-es-el-responsable-161314Medicina Legal y Ciencia Forense. (2022, julio). Boletines estadísticos mensuales. Recuperado de https://www.medicinalegal.gov.co/documents/20143/742818/Boletin_julio_2022.pdf/75a56f6a-b1f6-1334-959a-7f0ffd466f6fLi, J., Abusharkh, M., & Xu, Y. (2022, agosto). DeepRacer Model Training for autonomous vehicles on AWS EC2. Instituto de Ingenieros Eléctricos y Electrónicos (IEEE). https://doi.org/10.1109/ITC-EGYPT55520.2022.9855675Sanchez Arango, S. (2014, diciembre). Vehículos autónomos: los beneficios ambientales de una tecnología prometedora. Recuperado de https://ecosiglos.com/vehiculos-autonomos-los-beneficios-ambientales-de-una-tecnologia-prometedora/Ortiz Rocha, J. (2021, noviembre). Vehículos autónomos: Debemos prepararnos para su llegada | Uniandes. Recuperado de https://uniandes.edu.co/es/noticias/ingenieria/vehiculos-autonomos-el-futuro-es-ahora/Bureau, M. (2017, enero). Vehículos autónomos, ideales para conductores discapacitados. Recuperado de https://www.motorpasion.com.mx/nissan/nissan-afirma-que-los-vehiculos-autonomos-son-ideales-para-conductores-discapacitados-y-de-la-tercera-edadRedacción. (2019, marzo). Coches autónomos: ¿Qué son y cómo ayudan al medio ambiente? Recuperado de https://www.nuevamovilidad.com/movilidad-compartida/coches-autonomos-que-son-y-como-ayudan-al-medio-ambiente/Shamout, M., Ben-Abdallah, R., Alshurideh, M., Alzoubi, H., Al Kurdi, B., & Hamadneh, S. (2022). A conceptual model for the adoption of autonomous robots in supply chain and logistics industry. Uncertain Supply Chain Management, 10(2), 577-592. https://doi.org/10.5267/J.USCM.2021.11.006Panesar, S., Cagle, Y., Chander, D., Morey, J., Fernandez-Miranda, J., & Kliot, M. (2019, agosto). Artificial Intelligence and the Future of Surgical Robotics. Annals of Surgery, 270(2), 223-226. https://doi.org/10.1097/SLA.0000000000003262Ingrand, F., & Ghallab, M. (2017, junio). Deliberation for autonomous robots: A survey. Artificial Intelligence, 247, 10-44. https://doi.org/10.1016/J.ARTINT.2014.11.003Yandun. (2012). Planeación y seguimiento de trayectorias para un robot móvil [PDF]. Recuperado de https://www.researchgate.net/publication/277756099_Planeacion_y_seguimiento_de_trayectorias_para_un_robot_movilQuintero, C. G., & Cuervo, A. C. (2017, julio). Intelligent driving assistant based on accident risk maps analysis and intelligent driving diagnosis. IEEE Intelligent Vehicles Symposium, Proceedings, 914-919. https://doi.org/10.1109/IVS.2017.7995832Skiba, S. (2019). Vehículos autónomos y sus beneficios para personas mayores. Recuperado de https://www.aarp.org/espanol/hogar-familia/transporte-comunidades/info-2019/vehiculos-autonomos-para-personas-mayores.htmlPoinsignon, F., Chen, L., Jiang, S., Gao, K., Badia, H., & Jenelius, E. (2022, julio). Autonomous Vehicle Fleets for Public Transport: Scenarios and Comparisons. Green Energy and Intelligent Transportation, 1, 100019. https://doi.org/10.1016/J.GEITS.2022.100019Sharma, O., Sahoo, N. C., & Puhan, N. B. (2021, mayo). Recent advances in motion and behavior planning techniques for software architecture of autonomous vehicles: A state-of-the-art survey. Engineering Applications of Artificial Intelligence, 101, 104211. https://doi.org/10.1016/J.ENGAPPAI.2021.104211Google. (2022). Company – Waymo. Recuperado de https://waymo.com/intl/es/company/#storyTesla. (2022). Acerca de | Tesla. Recuperado de https://www.tesla.com/es_ES/aboutPérez, E. (2021, julio). El "quién es quién" del vehículo autónomo: estas son las compañías que quieren hacerse con el sector. Recuperado de https://www.xataka.com/vehiculos/quien-quien-vehiculo-autonomo-estas-companias-que-quieren-hacerse-sectorMahaleh, M. B. B., & Mirroshandel, S. A. (2018, septiembre). Harmony search path detection for vision-based automated guided vehicle. Robotics and Autonomous Systems, 107, 156-166. https://doi.org/10.1016/J.ROBOT.2018.06.008Cota, J. L., Rodriguez, J. A. T., Alonso, B. G., & Hurtado, C. V. (2022). Roadmap for development of skills in Artificial Intelligence by means of a Reinforcement Learning model using a DeepRacer autonomous vehicle. IEEE Global Engineering Education Conference, EDUCON, 2022-March, 1355-1364. https://doi.org/10.1109/EDUCON52537.2022.9766659Ong, P., Tan, W. K. S., & Low, E. S. (2021, junio). Vision-based path detection of an automated guided vehicle using flower pollination algorithm. Ain Shams Engineering Journal, 12(2), 2263-2274. https://doi.org/10.1016/J.ASEJ.2020.09.018Amasings. (2020). Ética en los vehículos autónomos | Noticias de la Ciencia y la Tecnología (Amazings® / NCYT®). Recuperado de https://noticiasdelaciencia.com/art/38772/etica-en-los-vehiculos-autonomosSagar, V. D., & Nanjundeswaraswamy, T. S. (Sin fecha). ARTIFICIAL INTELLIGENCE IN AUTONOMOUS VEHICLES-A LITERATURE REVIEW ARTIFICIAL INTELLIGENCE IN AUTONOMOUS VEHICLES-A LITERATURE REVIEW By. Recuperado de https://www.researchgate.net/publication/333608078Nandy, A., & Biswas, M. (2018). Reinforcement Learning. Berkeley, CA: Apress. https://doi.org/10.1007/978-1-4842-3285-9Ghimire, M. (2021). A Study of Deep Reinforcement Learning in Autonomous Racing Using DeepRacer Car. Recuperado de https://egrove.olemiss.edu/hon_thesis/1764Sewak, M. (2019). Deep Reinforcement Learning. Springer Singapore. https://doi.org/10.1007/978-981-13-8285-7Shinde, P. P., & Shah, S. (2018, julio). A Review of Machine Learning and Deep Learning Applications. Proceedings - 2018 4th International Conference on Computing, Communication Control and Automation, ICCUBEA 2018. https://doi.org/10.1109/ICCUBEA.2018.8697857Bosch Rué, A., Casas Roma, J., & Lozano Bagén, T. (2019). Deep learning: principios y fundamentos. Editorial UOC. https://doi.org/10.0/CSS/ALL.MIN.D74D1A5D029B.CSSAsperti, A., & Del Brutto, M. (2022, marzo). MicroRacer: a didactic environment for Deep Reinforcement Learning. ArXiv. https://arxiv.org/abs/2203.10494v1@misc{VehiculosAutonomos, title = {Vista de Vehículos autónomos: Innovación en la logística urbana}, url = {https://revistas.utp.ac.pa/index.php/ric/article/view/1864/2812}, }AWS (Amazon Web Services). (s. f.). ¿Qué es AWS DeepRacer? - AWS DeepRacer. https://docs.aws.amazon.com/es_es/deepracer/latest/developerguide/what-is-deepracer.htmlAmazon Web Services. (s. f.). Amazon SageMaker. https://us-east-1.console.aws.amazon.com/sagemaker/home?region=us-east-1#/getting-startedAmazon Web Services. (s. f.). RoboMaker. https://us-east-1.console.aws.amazon.com/robomaker/home?region=us-east-1#welcomeAmazon Web Services. (s. f.). S3 Management Console. https://s3.console.aws.amazon.com/s3/home?region=us-east-1#Crazyflie. (s. f.). Crazyflie 2.1. Recuperado el 11 de junio de 2023, de https://www.bitcraze.io/products/crazyflie-2-1/Desviación estándar. (s. f.). Qué es, usos y cómo obtenerla. Recuperado de https://www.questionpro.com/blog/es/desviacion-estandar/Scopus. (s. f.). Document details - A Deep Q-Network based hand gesture recognition system for control of robotic platforms. Recuperado de https://www-scopus-com.crai-ustadigital.usantotomas.edu.co/record/display.uri?eid=2-s2.0-85159764283&origin=resultslist&sort=plf-f&src=s&sid=1060c61879e8d5b0e006d4b9f615045e&sot=b&sdt=b&s=TITLE-ABS-KEY%28Q-Learning%29&sl=25&sessionSearchId=1060c61879e8d5b0e006d4b9f615045eCárdenas, J. A., Carrero, U. E., Camacho, E. C., & Calderon, J. M. (2023). Intelligent Position Controller for Unmanned Aerial Vehicles (UAV) Based on Supervised Deep Learning. Machines, 11(6), 606. MDPI.Gómez, N., Peña, N., Rincón, S., Amaya, S., & Calderon, J. (2022). Leader-follower behavior in multi-agent systems for search and rescue based on PSO approach. In SoutheastCon 2022 (pp. 413-420). IEEE.Cárdenas, J. A., Carrero, U. E., Camacho, E. C., & Calderón, J. M. (2022). Optimal PID Ø axis Control for UAV Quadrotor based on Multi-Objective PSO. IFAC-PapersOnLine, 55(14), 101-106. Elsevier.Cardona, G. A., Ramirez-Rugeles, J., Mojica-Nava, E., & Calderon, J. M. (2021). Visual victim detection and quadrotor-swarm coordination control in search and rescue environment. International Journal of Electrical and Computer Engineering, 11(3), 2079. IAES Institute of Advanced Engineering and Science.Cardona, G. A., Arevalo-Castiblanco, M., Tellez-Castro, D., Calderon, J., & Mojica-Nava, E. (2021). Robust adaptive synchronization of interconnected heterogeneous quadrotors transporting a cable-suspended load. En 2021 IEEE International Conference on Robotics and Automation (ICRA) (pp. 31-37). IEEE.Paez, D., Romero, J. P., Noriega, B., Cardona, G. A., & Calderon, J. M. (2021). Distributed particle swarm optimization for multi-robot system in search and rescue operations. IFAC-PapersOnLine, 54(4), 1-6. Elsevier.Reyes, L. J. P., Oviedo, N. B., Camacho, E. C., & Calderon, J. M. (2021). Adaptable Recommendation System for Outfit Selection with Deep Learning Approach. IFAC-PapersOnLine, 54(13), 605-610. Elsevier.Cardona, G. A., Tellez-Castro, D., Calderon, J., & Mojica-Nava, E. (2021). Adaptive Multi-Quadrotor Control for Cooperative Transportation of a Cable-Suspended Load. 2021 European Control Conference (ECC), 696-701. IEEE.Cardona, G. A., & Calderon, J. M. (2019). Robot swarm navigation and victim detection using rendezvous consensus in search and rescue operations. Applied Sciences, 9(8), 1702. MDPI.Cardona, G. A., Bravo, C., Quesada, W., Ruiz, D., Obeng, M., Wu, X., & Calderon, J. M. (2019). Autonomous navigation for exploration of unknown environments and collision avoidance in mobile robots using reinforcement learning. En 2019 SoutheastCon (pp. 1-7). IEEE.Quesada, W. O., Rodriguez, J. I., Murillo, J. C., Cardona, G. A., Yanguas-Rojas, D., Jaimes, L. G., & Calderón, J. M. (2018). Leader-follower formation for UAV robot swarm based on fuzzy logic theory. En Artificial Intelligence and Soft Computing: 17th International Conference, ICAISC 2018, Zakopane, Poland, June 3-7, 2018, Proceedings, Part II (pp. 740-751). Springer.León, J., Cardona, G. A., Botello, A., & Calderón, J. M. (2017). Robot swarms theory applicable to seek and rescue operation. En Intelligent Systems Design and Applications: 16th International Conference on Intelligent Systems Design and Applications (ISDA 2016) held in Porto, Portugal, December 16-18, 2016 (pp. 1061-1070). Springer.CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8811https://repository.usta.edu.co/bitstream/11634/53207/4/license_rdf217700a34da79ed616c2feb68d4c5e06MD54open accessTHUMBNAIL2023Andresgil.pdf.jpg2023Andresgil.pdf.jpgIM Thumbnailimage/jpeg4007https://repository.usta.edu.co/bitstream/11634/53207/6/2023Andresgil.pdf.jpgc8d9f4fd87c33ab400d0f80f8b421710MD56open accessCarta_aprobacion_Biblioteca GIL SUAREZ...pdf.jpgCarta_aprobacion_Biblioteca GIL SUAREZ...pdf.jpgIM Thumbnailimage/jpeg7008https://repository.usta.edu.co/bitstream/11634/53207/7/Carta_aprobacion_Biblioteca%20GIL%20SUAREZ...pdf.jpg54317fe6cbff80e289e13491cc2afc7aMD57open accessCarta_autorizacion_autoarchivo_autor_2023_Gil.pdf.jpgCarta_autorizacion_autoarchivo_autor_2023_Gil.pdf.jpgIM Thumbnailimage/jpeg7325https://repository.usta.edu.co/bitstream/11634/53207/8/Carta_autorizacion_autoarchivo_autor_2023_Gil.pdf.jpg0a25e5b29dceb333c87aeb390b64665eMD58open accessORIGINAL2023Andresgil.pdf2023Andresgil.pdfTrabajo de Gradoapplication/pdf37295027https://repository.usta.edu.co/bitstream/11634/53207/1/2023Andresgil.pdf7702c848dc658ae3d04c4a2eb1c27a27MD51open accessCarta_aprobacion_Biblioteca GIL SUAREZ...pdfCarta_aprobacion_Biblioteca GIL SUAREZ...pdfCarta aprobación facultadapplication/pdf160367https://repository.usta.edu.co/bitstream/11634/53207/2/Carta_aprobacion_Biblioteca%20GIL%20SUAREZ...pdfad590c8986bdd586575f428e0fc57e07MD52metadata only accessCarta_autorizacion_autoarchivo_autor_2023_Gil.pdfCarta_autorizacion_autoarchivo_autor_2023_Gil.pdfCarta autorización autoarchivoapplication/pdf73495https://repository.usta.edu.co/bitstream/11634/53207/3/Carta_autorizacion_autoarchivo_autor_2023_Gil.pdfcdc254a88df333bf78d21af040698ddcMD53metadata only accessLICENSElicense.txtlicense.txttext/plain; charset=utf-8807https://repository.usta.edu.co/bitstream/11634/53207/5/license.txtaedeaf396fcd827b537c73d23464fc27MD55open access11634/53207oai:repository.usta.edu.co:11634/532072023-12-13 03:17:20.457open accessRepositorio Universidad Santo Tomásnoreply@usta.edu.coQXV0b3Jpem8gYWwgQ2VudHJvIGRlIFJlY3Vyc29zIHBhcmEgZWwgQXByZW5kaXphamUgeSBsYSBJbnZlc3RpZ2FjacOzbiwgQ1JBSS1VU1RBCmRlIGxhIFVuaXZlcnNpZGFkIFNhbnRvIFRvbcOhcywgcGFyYSBxdWUgY29uIGZpbmVzIGFjYWTDqW1pY29zIGFsbWFjZW5lIGxhCmluZm9ybWFjacOzbiBpbmdyZXNhZGEgcHJldmlhbWVudGUuCgpTZSBwZXJtaXRlIGxhIGNvbnN1bHRhLCByZXByb2R1Y2Npw7NuIHBhcmNpYWwsIHRvdGFsIG8gY2FtYmlvIGRlIGZvcm1hdG8gY29uCmZpbmVzIGRlIGNvbnNlcnZhY2nDs24sIGEgbG9zIHVzdWFyaW9zIGludGVyZXNhZG9zIGVuIGVsIGNvbnRlbmlkbyBkZSBlc3RlCnRyYWJham8sIHBhcmEgdG9kb3MgbG9zIHVzb3MgcXVlIHRlbmdhbiBmaW5hbGlkYWQgYWNhZMOpbWljYSwgc2llbXByZSB5IGN1YW5kbwptZWRpYW50ZSBsYSBjb3JyZXNwb25kaWVudGUgY2l0YSBiaWJsaW9ncsOhZmljYSBzZSBsZSBkw6kgY3LDqWRpdG8gYWwgdHJhYmFqbyBkZQpncmFkbyB5IGEgc3UgYXV0b3IuIERlIGNvbmZvcm1pZGFkIGNvbiBsbyBlc3RhYmxlY2lkbyBlbiBlbCBhcnTDrWN1bG8gMzAgZGUgbGEKTGV5IDIzIGRlIDE5ODIgeSBlbCBhcnTDrWN1bG8gMTEgZGUgbGEgRGVjaXNpw7NuIEFuZGluYSAzNTEgZGUgMTk5Mywg4oCcTG9zIGRlcmVjaG9zCm1vcmFsZXMgc29icmUgZWwgdHJhYmFqbyBzb24gcHJvcGllZGFkIGRlIGxvcyBhdXRvcmVz4oCdLCBsb3MgY3VhbGVzIHNvbgppcnJlbnVuY2lhYmxlcywgaW1wcmVzY3JpcHRpYmxlcywgaW5lbWJhcmdhYmxlcyBlIGluYWxpZW5hYmxlcy4K

Publicaciones similares