Optimización de Hiperparámetros en Algoritmos de Aprendizaje Automático

En la actualidad, el Automated Machine Learning (AutoML) ha sido ampliamente aplicado debido al alto potencial benéfico que aporta a los distintos sectores de la industria, particularmente en la mejora de los flujos de trabajo, el rendimiento de los procesos y la efectividad empresarial. Dentro del AutoML es importante la adecuada elección de los valores de hiperparámetros mediante técnicas de optimización, ya que los algoritmos de ML dependen de los valores de hiperparámetros (HPs) elegidos debido a que estos influyen en el rendimiento de la máquina. Por ello, en esta investigación se diseña metodológicamente el proceso de construcción de los espacios de búsqueda y se propone una técnica para la optimización hiperparámetros de una máquina de Random Forest (RF) mediante la adaptación de la metaheurística de Particle Swarm Optimization (PSO). Esta técnica se utiliza para el análisis de conjunto de datos equilibrados y desequilibrados, mediante un proceso de benchmarking. Para validar el rendimiento del método, inicialmente se ejecutó el algoritmo de Random Forest sin aplicar la técnica de optimización, en donde se encontró la existencia de sobreajuste. Para reducir este comportamiento se establece una comparación entre PSO y técnicas de mayor usabilidad como Grid Search y Random Search a fin de analizar el comportamiento del modelo e identificar la técnica más efectiva en términos de funcionalidad y rendimiento. Los resultados demuestran que el modelo de clasificación Random Forest junto con la técnica de optimización de hiperparámetros Particle Swarm Optimization (PSO) mejoró la eficacia general del modelo, posibilitando obtener valores óptimos de hiperparámetros que mejoraron el rendimiento y el sobreajuste del modelo.

• Autores: Acero Lozada, July Andrea; Rojas Ramirez, Kevin Stiveen
• Tipo de recurso: Trabajo de grado de pregrado
• Fecha de publicación: 2023
• Institución: Universidad Industrial de Santander
• Repositorio: Repositorio UIS
• Idioma: spa
• OAI Identifier: oai:noesis.uis.edu.co:20.500.14071/14755
• Acceso en línea: https://noesis.uis.edu.co/handle/20.500.14071/14755; https://noesis.uis.edu.co
• Palabra clave: AutoML; HPO; espacios de búsqueda; hiperparámetros; estrategia de espacios de búsqueda; Ingeniería de características; AutoML; HPO; search spaces; hyperparameters; search space strategy; feature engineering
• Rights: openAccess
• License: Attribution-NonCommercial 4.0 International (CC BY-NC 4.0)