Kernel-based Enhancement of General Stochastic Network for Supervised Learning

En los últimos años, han tenido lugar avances significativos en el análisis de datos de alta dimensión que permiten soportar una amplia cantidad de aplicaciones en sistemas de aprendizaje automático y procesamiento de señales entre otros. Sin embargo, es difícil de interpretar la información disponible debido a su complejidad y a la gran cantidad de características obtenidas. Los algoritmos de Aprendizaje Profundo o Deep Learning surgen como una herramienta que se ocupa de este tipo de problemas mediante la extracción de representaciones (abstracciones) a partir de los datos. Las redes neuronales artificiales basadas en algoritmos de aprendizaje profundo, es decir, las Redes Neuronales Profundas o Deep Neural Networks (DNN) emplean un enfoque de jerarquía de característica que aumenta la complejidad y la abstracción. Lo anterior hace a las DNNs capaces de manejar conjuntos de datos muy grandes, de alta dimensión con miles de millones de parámetros que pasan a través de funciones no lineales. Además, esto proporciona una mejor representación de los datos, lo que permite un aprendizaje más rápido y una clasificación más precisa. Sin embargo, las DNNs, así como la mayoría de las redes neuronales artificiales, siguen siendo vulnerables a sufrir un over-fitting o exceso de ajuste. Con respecto a esto, las funciones Kernel aparecen como un enfoque alternativo que, en primer lugar, ayuda al análisis de datos de alta dimensión permitiendo mejorar la representación y la interpretación de los datos para el apoyo a sistemas de procesamiento de señales y de aprendizaje automático. Por otra parte, los métodos basados en Kernel desarrollan soluciones que ofrecen mejores resultados mediante la adaptación del Kernel a un problema dado, el cual, permite combatir el problema de over-fitting presente en la etapa de aprendizaje de las redes neuronales profundas. En este estudio, proponemos un marco de representación de datos basado en funciones Kernel para mejorar el rendimiento de una especie de red neuronal profunda, llamada Red Estocástica General o Red Estocástica Generativa de aprendizaje supervisado. En concreto, el marco propuesto se divide en dos metodologías basadas en Kernel, que tienen por objeto mejorar el ajuste de parámetros de la red de acuerdo con las relaciones entre los datos. En primer lugar, se desarrolla un criterio de selección automática de la arquitectura de la red basado en funciones Kernel, que permita cuantificar el tamaño óptimo de la capa preservando la información de conjunta entrada-salida. Por lo tanto, el tamaño de la capa oculta resultante se destaca con el objetivo de favorecer el aprendizaje de las etapas de entrenamiento en la clasificación y tareas de reconocimiento de objetos. Este enfoque llamado Joint Spectrum permite la explotación de la similitud de datos conjunta para un conjunto de muestras de entrada dado. En segundo lugar, se introduce un enfoque pre-entrenamiento supervisado de la red que resalta la relación entre los estados ocultos y la información objetivo. Por lo tanto, se introduce un enfoque pre-entrenamiento supervisado basado en una función Kernel CKA para aprender una matriz de proyección, la cual codifica la información discriminante de los datos para obtener una representación oculta adecuada. Por lo tanto, buscamos un método de pre-entrenamiento que capta las variaciones principales de la distribución de entrada para apoyar la etapa de aprendizaje. Por último, una red estocástica generativa mejorada fue desarrollada para apoyar las tareas de aprendizaje supervisado. La propuesta considera las dos estrategias de sintonización de parámetros de la red basadas en funciones Kernel antes mencionadas, explotando sus principales propiedades. La red resultante destaca dependencias de los datos relevantes y el conocimiento previo del usuario (información supervisada). Por lo tanto, se construye una red generalizable capaz de capturar una gran cantidad de información a partir de la distribución de datos de entrada y codificar patrones discriminantes. A lo largo de este estudio, el mejoramiento de red propuesto usando un marco basado en el Kernel se aplica a los datos de imagen como una alternativa para apoyar los sistemas de clasificación y análisis de objetos basado en la imagen. De hecho, el marco basado en funciones Kernel introducido mejora, en la mayoría de los casos, el rendimiento en tareas de aprendizaje supervisado, apoyando el análisis de una gran cantidad de datos utilizando arquitecturas de aprendizaje profundo

• Autores: Collazos Huertas, Diego Fabián
• Fecha de publicación: 2016
• Institución: Universidad Nacional de Colombia
• Repositorio: Universidad Nacional de Colombia
• Idioma: spa
• OAI Identifier: oai:repositorio.unal.edu.co:unal/56581
• Acceso en línea: https://repositorio.unal.edu.co/handle/unal/56581; http://bdigital.unal.edu.co/52406/
• Palabra clave: 0 Generalidades / Computer science, information and general works; 62 Ingeniería y operaciones afines / Engineering; Red estocástica general; Aprendizaje basado en Kernel; Selección de la arquitectura; Pre-entrenamiento de la red; Aprendizaje supervisado; General stochastic network; Kernel-based learning; Architecture selection; Network pre-training; Supervised learning
• Rights: openAccess
• License: Atribución-NoComercial 4.0 Internacional