Formación de patrones por movimiento autónomo a través de algoritmos de Deep QLearning
Este proyecto de grado se ocupa del problema de navegacion autónoma en 3D por medio de aprendizaje por refuerzo profundo (DRL por sus siglas en ingles), empleando específicamente el algoritmo de DQN(Deep QLearning)[1], para cinco drones simulados en un ambiente parcialmente observable por medio de s...
- Autores:
-
Valdelamar Martelo, Álvaro Ramón
- Tipo de recurso:
- Trabajo de grado de pregrado
- Fecha de publicación:
- 2021
- Institución:
- Universidad de los Andes
- Repositorio:
- Séneca: repositorio Uniandes
- Idioma:
- spa
- OAI Identifier:
- oai:repositorio.uniandes.edu.co:1992/55697
- Acceso en línea:
- http://hdl.handle.net/1992/55697
- Palabra clave:
- Deep Qlearning
Navegación autónoma
Navegación sin mapa
Evasión de obstáculos
Aprendizaje por refuerzo
Ingeniería
- Rights
- openAccess
- License
- https://repositorio.uniandes.edu.co/static/pdf/aceptacion_uso_es.pdf
| id |
UNIANDES2_0333461250f297472fc622e6d0276e00 |
|---|---|
| oai_identifier_str |
oai:repositorio.uniandes.edu.co:1992/55697 |
| network_acronym_str |
UNIANDES2 |
| network_name_str |
Séneca: repositorio Uniandes |
| repository_id_str |
|
| dc.title.spa.fl_str_mv |
Formación de patrones por movimiento autónomo a través de algoritmos de Deep QLearning |
| title |
Formación de patrones por movimiento autónomo a través de algoritmos de Deep QLearning |
| spellingShingle |
Formación de patrones por movimiento autónomo a través de algoritmos de Deep QLearning Deep Qlearning Navegación autónoma Navegación sin mapa Evasión de obstáculos Aprendizaje por refuerzo Ingeniería |
| title_short |
Formación de patrones por movimiento autónomo a través de algoritmos de Deep QLearning |
| title_full |
Formación de patrones por movimiento autónomo a través de algoritmos de Deep QLearning |
| title_fullStr |
Formación de patrones por movimiento autónomo a través de algoritmos de Deep QLearning |
| title_full_unstemmed |
Formación de patrones por movimiento autónomo a través de algoritmos de Deep QLearning |
| title_sort |
Formación de patrones por movimiento autónomo a través de algoritmos de Deep QLearning |
| dc.creator.fl_str_mv |
Valdelamar Martelo, Álvaro Ramón |
| dc.contributor.advisor.none.fl_str_mv |
García Cárdenas, Juan José Lozano Martínez, Fernando Enrique |
| dc.contributor.author.spa.fl_str_mv |
Valdelamar Martelo, Álvaro Ramón |
| dc.contributor.jury.spa.fl_str_mv |
Segura Quijano, Fredy Enrique |
| dc.subject.keyword.none.fl_str_mv |
Deep Qlearning Navegación autónoma Navegación sin mapa Evasión de obstáculos Aprendizaje por refuerzo |
| topic |
Deep Qlearning Navegación autónoma Navegación sin mapa Evasión de obstáculos Aprendizaje por refuerzo Ingeniería |
| dc.subject.themes.none.fl_str_mv |
Ingeniería |
| description |
Este proyecto de grado se ocupa del problema de navegacion autónoma en 3D por medio de aprendizaje por refuerzo profundo (DRL por sus siglas en ingles), empleando específicamente el algoritmo de DQN(Deep QLearning)[1], para cinco drones simulados en un ambiente parcialmente observable por medio de sensores ultrasonicos. En este proyecto se implementó una estructura básica de enjambre[2] evaluando la capacidad de aprendizaje de un solo dron en un mapa con obstaculos dinámicos. Es decir, se implementó una estructura vainilla de aprendizaje por refuerzo para un unico agente, la cual se replicó para cinco drones a través de un control centralizado. El ambiente de aprendizaje fue realizado en el simluador Coppeliasim[3], el cual fue conectado por medio de la API (interfaz de programacion de aplicaciones) remota de Python con la librería Stable.Baselines3[4], la cual ofrece una implementacion de código abierto para el algoritmo DQN. Se entrenó dos modelos de agentes, uno para un ambiente con ´ obstaculos estáticos y otro para obstáculos dinámicos, sobre ´ los cuales se les hizo distintas pruebas para llegar a distintos objetivos desde varios puntos iniciales. Se obtuvieron resultados positivos con distintos porcentajes de exitos tanto en la ´ operacion de un solo dron, tanto como para la formación de cinco patrones distintos en el modelo dinamico empleando cinco drones. Demostracion de los resultados puede verse en este enlace https://youtu.be/hzlIE LR3Fk |
| publishDate |
2021 |
| dc.date.issued.none.fl_str_mv |
2021 |
| dc.date.accessioned.none.fl_str_mv |
2022-02-22T20:10:36Z |
| dc.date.available.none.fl_str_mv |
2022-02-22T20:10:36Z |
| dc.type.spa.fl_str_mv |
Trabajo de grado - Pregrado |
| dc.type.driver.spa.fl_str_mv |
info:eu-repo/semantics/bachelorThesis |
| dc.type.version.spa.fl_str_mv |
info:eu-repo/semantics/acceptedVersion |
| dc.type.coar.spa.fl_str_mv |
http://purl.org/coar/resource_type/c_7a1f |
| dc.type.content.spa.fl_str_mv |
Text |
| dc.type.redcol.spa.fl_str_mv |
http://purl.org/redcol/resource_type/TP |
| format |
http://purl.org/coar/resource_type/c_7a1f |
| status_str |
acceptedVersion |
| dc.identifier.uri.none.fl_str_mv |
http://hdl.handle.net/1992/55697 |
| dc.identifier.pdf.spa.fl_str_mv |
25803.pdf |
| dc.identifier.instname.spa.fl_str_mv |
instname:Universidad de los Andes |
| dc.identifier.reponame.spa.fl_str_mv |
reponame:Repositorio Institucional Séneca |
| dc.identifier.repourl.spa.fl_str_mv |
repourl:https://repositorio.uniandes.edu.co/ |
| url |
http://hdl.handle.net/1992/55697 |
| identifier_str_mv |
25803.pdf instname:Universidad de los Andes reponame:Repositorio Institucional Séneca repourl:https://repositorio.uniandes.edu.co/ |
| dc.language.iso.spa.fl_str_mv |
spa |
| language |
spa |
| dc.rights.uri.*.fl_str_mv |
https://repositorio.uniandes.edu.co/static/pdf/aceptacion_uso_es.pdf |
| dc.rights.accessrights.spa.fl_str_mv |
info:eu-repo/semantics/openAccess |
| dc.rights.coar.spa.fl_str_mv |
http://purl.org/coar/access_right/c_abf2 |
| rights_invalid_str_mv |
https://repositorio.uniandes.edu.co/static/pdf/aceptacion_uso_es.pdf http://purl.org/coar/access_right/c_abf2 |
| eu_rights_str_mv |
openAccess |
| dc.format.extent.spa.fl_str_mv |
11 páginas |
| dc.format.mimetype.spa.fl_str_mv |
application/pdf |
| dc.publisher.spa.fl_str_mv |
Universidad de los Andes |
| dc.publisher.program.spa.fl_str_mv |
Ingeniería Electrónica |
| dc.publisher.faculty.spa.fl_str_mv |
Facultad de Ingeniería |
| dc.publisher.department.spa.fl_str_mv |
Departamento de Ingeniería Eléctrica y Electrónica |
| institution |
Universidad de los Andes |
| bitstream.url.fl_str_mv |
https://repositorio.uniandes.edu.co/bitstreams/2ca78f80-de5e-4a17-ade2-688316c0a15d/download https://repositorio.uniandes.edu.co/bitstreams/8ccf654d-df92-4217-882f-7b24b6cdb15d/download https://repositorio.uniandes.edu.co/bitstreams/ce1bdaf9-794d-48a0-a347-ae3a55441af6/download |
| bitstream.checksum.fl_str_mv |
3aef75a51e50c7be79139d73483abd97 888bf54e43842cb22688cb0f7cf668c8 1836ec3d675410cebbb8721eedf099e0 |
| bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 |
| repository.name.fl_str_mv |
Repositorio institucional Séneca |
| repository.mail.fl_str_mv |
adminrepositorio@uniandes.edu.co |
| _version_ |
1808390483582386176 |
| spelling |
Al consultar y hacer uso de este recurso, está aceptando las condiciones de uso establecidas por los autores.https://repositorio.uniandes.edu.co/static/pdf/aceptacion_uso_es.pdfinfo:eu-repo/semantics/openAccesshttp://purl.org/coar/access_right/c_abf2García Cárdenas, Juan José4206bdff-0bdc-42b5-9c6d-691e503363a8400Lozano Martínez, Fernando Enriquevirtual::16201-1Valdelamar Martelo, Álvaro Ramónb6ba2cbf-cb19-4d6b-bcb4-8067ef89a020500Segura Quijano, Fredy Enrique2022-02-22T20:10:36Z2022-02-22T20:10:36Z2021http://hdl.handle.net/1992/5569725803.pdfinstname:Universidad de los Andesreponame:Repositorio Institucional Sénecarepourl:https://repositorio.uniandes.edu.co/Este proyecto de grado se ocupa del problema de navegacion autónoma en 3D por medio de aprendizaje por refuerzo profundo (DRL por sus siglas en ingles), empleando específicamente el algoritmo de DQN(Deep QLearning)[1], para cinco drones simulados en un ambiente parcialmente observable por medio de sensores ultrasonicos. En este proyecto se implementó una estructura básica de enjambre[2] evaluando la capacidad de aprendizaje de un solo dron en un mapa con obstaculos dinámicos. Es decir, se implementó una estructura vainilla de aprendizaje por refuerzo para un unico agente, la cual se replicó para cinco drones a través de un control centralizado. El ambiente de aprendizaje fue realizado en el simluador Coppeliasim[3], el cual fue conectado por medio de la API (interfaz de programacion de aplicaciones) remota de Python con la librería Stable.Baselines3[4], la cual ofrece una implementacion de código abierto para el algoritmo DQN. Se entrenó dos modelos de agentes, uno para un ambiente con ´ obstaculos estáticos y otro para obstáculos dinámicos, sobre ´ los cuales se les hizo distintas pruebas para llegar a distintos objetivos desde varios puntos iniciales. Se obtuvieron resultados positivos con distintos porcentajes de exitos tanto en la ´ operacion de un solo dron, tanto como para la formación de cinco patrones distintos en el modelo dinamico empleando cinco drones. Demostracion de los resultados puede verse en este enlace https://youtu.be/hzlIE LR3FkThis degree project deals with the problem of autonomous navigation in 3D through deep reinforcement learning (DRL), specifically using the DQN (Deep QLearning) algorithm[1], for five simulated drones in an partially observable environment by means of ultrasonic sensors. In this project, a basic swarm structure[2] was implemented by evaluating the learning capacity of a single drone on a map with dynamic obstacles. That is, a vanilla reinforcement learning structure was implemented for a single agent, which was replicated for five drones through centralized control. The learning environment was carried out in the Coppeliasim[3] simulator, which was connected through the remote Python API (application programming interface) with the Stable-Baselines3[4] library, which offers an open code implementation for the DQN algorithm. Two agent models were trained, one for an environment with static obstacles and another for dynamic obstacles, on which were made different tests to reach different objectives from various initial points. Positive results were obtained with different percentages of success both in the operation of a single drone, as well as for the formation of five different patterns in the dynamic model using five drones. Demonstration of the results can be seen at this link https://youtu.be/hzlIE LR3FkIngeniero ElectrónicoPregrado11 páginasapplication/pdfspaUniversidad de los AndesIngeniería ElectrónicaFacultad de IngenieríaDepartamento de Ingeniería Eléctrica y ElectrónicaFormación de patrones por movimiento autónomo a través de algoritmos de Deep QLearningTrabajo de grado - Pregradoinfo:eu-repo/semantics/bachelorThesisinfo:eu-repo/semantics/acceptedVersionhttp://purl.org/coar/resource_type/c_7a1fTexthttp://purl.org/redcol/resource_type/TPDeep QlearningNavegación autónomaNavegación sin mapaEvasión de obstáculosAprendizaje por refuerzoIngeniería201815552Publicationedd81d8c-e0b9-4c1f-bf04-eed0e12e755dvirtual::16201-1edd81d8c-e0b9-4c1f-bf04-eed0e12e755dvirtual::16201-1https://scienti.minciencias.gov.co/cvlac/visualizador/generarCurriculoCv.do?cod_rh=0000025550virtual::16201-1TEXT25803.pdf.txt25803.pdf.txtExtracted texttext/plain53230https://repositorio.uniandes.edu.co/bitstreams/2ca78f80-de5e-4a17-ade2-688316c0a15d/download3aef75a51e50c7be79139d73483abd97MD52ORIGINAL25803.pdfapplication/pdf3609983https://repositorio.uniandes.edu.co/bitstreams/8ccf654d-df92-4217-882f-7b24b6cdb15d/download888bf54e43842cb22688cb0f7cf668c8MD51THUMBNAIL25803.pdf.jpg25803.pdf.jpgIM Thumbnailimage/jpeg31874https://repositorio.uniandes.edu.co/bitstreams/ce1bdaf9-794d-48a0-a347-ae3a55441af6/download1836ec3d675410cebbb8721eedf099e0MD531992/55697oai:repositorio.uniandes.edu.co:1992/556972024-03-13 15:39:51.987https://repositorio.uniandes.edu.co/static/pdf/aceptacion_uso_es.pdfopen.accesshttps://repositorio.uniandes.edu.coRepositorio institucional Sénecaadminrepositorio@uniandes.edu.co |