Discrete state-action representations for hierarchical reinforcement learning

Cada vez hay mayor evidencia de que los métodos de aprendizaje por refuerzo jerárquico proveen mejores leyes de control que métodos estándar de aprendizaje por refuerzo, y, aún más, que son necesarios para resolver problemas de control complejos para los cuáles es imperativo explorar eficientemente. En este trabajos proponemos un nuevo método de aprendizaje por refuerzo jerárquico inspirado en el modo en que los humanos, y probablemente la mayoría de animales, parecen resolver tareas complejas: generando representaciones mentales discretas que permiten planear y tomar decisiones de manera eficiente. Más específicamente, nuestra aproximación consiste en el uso de modelos probabilísticos generativos como abstracciones discretas del espacio de estados, un proceso de inferencia de estos modelos y un método de decisión de alto nivel que mapea los modelo escogidos a acciones de alto nivel. Esta acción de alto nivel funciona como un comando hacia un controlador de bajo nivel que también usa la información sensorial completa del estado para realizar una acción. Implementamos nuestro método en dos ambientes continuos de la librería OpenAI Gym y lo comparamos con dos métodos no jerárquicos del estado del arte. Nuestros resultados indican que el uso del método jerárquico propuesto proporciona una ventaja significativa en la eficiencia de aprendizaje y permite capturar representaciones útiles para hacer control.

• Autores: Gómez Noriega, Diego Fernando
• Tipo de recurso: Trabajo de grado de pregrado
• Fecha de publicación: 2019
• Institución: Universidad de los Andes
• Repositorio: Séneca: repositorio Uniandes
• Idioma: eng
• OAI Identifier: oai:repositorio.uniandes.edu.co:1992/45788
• Acceso en línea: http://hdl.handle.net/1992/45788
• Palabra clave: Aprendizaje por refuerzo (Aprendizaje automático); Ingeniería
• Rights: openAccess
• License: https://repositorio.uniandes.edu.co/static/pdf/aceptacion_uso_es.pdf