Automatizando escalamiento y manejo de recursos para procesamiento por lotes del cubo de datos colombiano utilizando AWS Batch

Los procesamientos por lotes representan una parte de gran importancia para procesos analíticos y de procesamiento de datos dentro de toda organización. Sin embargo existen retos asociados a estos, principalmente en el aprovisionamiento de recursos. El instituto de hidrología, meteorología y de estu...

Full description

Autores:
Zuleta Calderón, Andrés Camilo
Tipo de recurso:
Trabajo de grado de pregrado
Fecha de publicación:
2018
Institución:
Universidad de los Andes
Repositorio:
Séneca: repositorio Uniandes
Idioma:
spa
OAI Identifier:
oai:repositorio.uniandes.edu.co:1992/39227
Acceso en línea:
http://hdl.handle.net/1992/39227
Palabra clave:
Procesamiento electrónico de datos
Computación en la nube
Servicios web
Ingeniería
Rights
openAccess
License
http://creativecommons.org/licenses/by-nc-nd/4.0/
Description
Summary:Los procesamientos por lotes representan una parte de gran importancia para procesos analíticos y de procesamiento de datos dentro de toda organización. Sin embargo existen retos asociados a estos, principalmente en el aprovisionamiento de recursos. El instituto de hidrología, meteorología y de estudios territoriales (IDEAM) colombiano, presenta una serie de estudios que se apoyan en el uso de procesamientos en batch para desarrollarlos de forma satisfactoria. No obstante, en estos momentos presentan limitantes de sus recursos computaciones disponibles y por tanto de escalabilidad. El propósito de este proyecto es ofrecer al IDEAM una solución escalable, altamente disponible y auto-gestionada de procesamiento por lotes a la vez que optimizamos factores como el desempeño y los costos utilizando el servicio de procesamiento por lotes en la nube AWS Batch.