Comparacion de métodos de compresión de redes neuronales

Hacer uso de redes neuronales profundas o ensamblajes de las mismas es una de las maneras más utilizadas para alcanzar un alto porcentaje de acierto, especialmente en tareas de clasificación. Si bien a la hora de entrenar este tipo de modelos se cuenta con cantidades considerables de recursos computacionales, hacer el despliegue correspondiente en plataformas de bajos recursos se vuelve complicado, más aun cuando se necesita una respuesta en tiempo real. Recientemente se han realizado estudios buscando maneras de comprimir estos modelos: cuantización, pruning, destilación, entre otros. Se realiza una comparación del efecto de compresión de un método de pruning [1] y uno de destilación [2] en redes profundas con la arquitectura ResNet [3] en el dataset CIFAR10 [4]. La comparación se hace con base en el porcentaje de compresión alcanzado, el cual está definido por la razón entre el número de parámetros de la red inicial y la red resultante de aplicar cada proceso, y la diferencia de acierto entre estas dos redes en el set de validación. Los resultados muestran que destilación alcanza porcentajes de compresión más altos con menor disminución en el porcentaje de acierto. Si bien el método de destilación muestra mejores resultados en la compresión, depende de la existencia de un modelo del tamaño de la compresión que se busca. En contraste, pruning ofrece mayor flexibilidad en la arquitectura buscada. La exigencia computacional de cada técnica resulta similar cuando se entrena la red podada desde ceros, pues se entrenan un modelo grande y profundo y luego una red más pequeña. Sin embargo, si se afina la red podada, el número total de épocas es menor, reduciendo ligeramente la exigencia computacional

• Autores: García Hernández, Juan David
• Tipo de recurso: Trabajo de grado de pregrado
• Fecha de publicación: 2020
• Institución: Universidad de los Andes
• Repositorio: Séneca: repositorio Uniandes
• Idioma: spa
• OAI Identifier: oai:repositorio.uniandes.edu.co:1992/48823
• Acceso en línea: http://hdl.handle.net/1992/48823
• Palabra clave: Redes neurales (Computadores); Aprendizaje automático (Inteligencia artificial); Ingeniería
• Rights: openAccess
• License: https://repositorio.uniandes.edu.co/static/pdf/aceptacion_uso_es.pdf