Automatizando escalamiento y manejo de recursos para procesamiento por lotes del cubo de datos colombiano utilizando AWS Batch

Los procesamientos por lotes representan una parte de gran importancia para procesos analíticos y de procesamiento de datos dentro de toda organización. Sin embargo existen retos asociados a estos, principalmente en el aprovisionamiento de recursos. El instituto de hidrología, meteorología y de estu...

Full description

Autores:
Zuleta Calderón, Andrés Camilo
Tipo de recurso:
Trabajo de grado de pregrado
Fecha de publicación:
2018
Institución:
Universidad de los Andes
Repositorio:
Séneca: repositorio Uniandes
Idioma:
spa
OAI Identifier:
oai:repositorio.uniandes.edu.co:1992/39227
Acceso en línea:
http://hdl.handle.net/1992/39227
Palabra clave:
Procesamiento electrónico de datos
Computación en la nube
Servicios web
Ingeniería
Rights
openAccess
License
http://creativecommons.org/licenses/by-nc-nd/4.0/
id UNIANDES2_1cfb90e6b84661c5533901ec2de5bce5
oai_identifier_str oai:repositorio.uniandes.edu.co:1992/39227
network_acronym_str UNIANDES2
network_name_str Séneca: repositorio Uniandes
repository_id_str
spelling Al consultar y hacer uso de este recurso, está aceptando las condiciones de uso establecidas por los autores.http://creativecommons.org/licenses/by-nc-nd/4.0/info:eu-repo/semantics/openAccesshttp://purl.org/coar/access_right/c_abf2Castro Barrera, Harold Enriquef1b9a768-386d-4096-b133-6a56626118e8400Villamizar Cano, Mario Josévirtual::2136-1Zuleta Calderón, Andrés Camilo1c998fa2-ab9a-4361-a1bc-e50e8c9c7ef65002020-06-10T16:06:57Z2020-06-10T16:06:57Z2018http://hdl.handle.net/1992/39227u821118.pdfinstname:Universidad de los Andesreponame:Repositorio Institucional Sénecarepourl:https://repositorio.uniandes.edu.co/Los procesamientos por lotes representan una parte de gran importancia para procesos analíticos y de procesamiento de datos dentro de toda organización. Sin embargo existen retos asociados a estos, principalmente en el aprovisionamiento de recursos. El instituto de hidrología, meteorología y de estudios territoriales (IDEAM) colombiano, presenta una serie de estudios que se apoyan en el uso de procesamientos en batch para desarrollarlos de forma satisfactoria. No obstante, en estos momentos presentan limitantes de sus recursos computaciones disponibles y por tanto de escalabilidad. El propósito de este proyecto es ofrecer al IDEAM una solución escalable, altamente disponible y auto-gestionada de procesamiento por lotes a la vez que optimizamos factores como el desempeño y los costos utilizando el servicio de procesamiento por lotes en la nube AWS Batch.Batch processing represents a really important piece for analytics and data processing within every organization. However there are some challenges associated with them, mostly related with resource provisioning. The Colombian Institute of Hydrology, Meteorology and Environmental Studies (IDEAM), shows a series of studies supported by batch processing in order to develop them successfully. Nonetheless currently they present limitations due to their available computational resources and therefore scalability problems. The purpose of this project is to offer to the IDEAM a scalable, highly available and self-managed solution for batch processing at the same time we optimize items such as the performance and cost-efficiency through the use of a cloud batch processing service, AWS Batch.Ingeniero de Sistemas y ComputaciónPregrado70 hojasapplication/pdfspaUniversidad de los AndesIngeniería de Sistemas y ComputaciónFacultad de IngenieríaDepartamento de Ingeniería de Sistemas y Computacióninstname:Universidad de los Andesreponame:Repositorio Institucional SénecaAutomatizando escalamiento y manejo de recursos para procesamiento por lotes del cubo de datos colombiano utilizando AWS BatchTrabajo de grado - Pregradoinfo:eu-repo/semantics/bachelorThesishttp://purl.org/coar/resource_type/c_7a1fhttp://purl.org/coar/version/c_970fb48d4fbd8a85Texthttp://purl.org/redcol/resource_type/TPProcesamiento electrónico de datosComputación en la nubeServicios webIngenieríaPublication20b6ca80-9945-4812-a33b-a89f990854c0virtual::2136-120b6ca80-9945-4812-a33b-a89f990854c0virtual::2136-1https://scienti.minciencias.gov.co/cvlac/visualizador/generarCurriculoCv.do?cod_rh=0001349210virtual::2136-1ORIGINALu821118.pdfapplication/pdf3445405https://repositorio.uniandes.edu.co/bitstreams/1719980b-42c7-49ab-b8cb-ed4e97b66c94/downloadace31ffe906370eef9f968ea10e9a8a9MD51THUMBNAILu821118.pdf.jpgu821118.pdf.jpgIM Thumbnailimage/jpeg10012https://repositorio.uniandes.edu.co/bitstreams/be639fc5-bfee-47a4-a8ab-f81980731229/download14b882de97d90c9a9c0cd03c0e3e095aMD55TEXTu821118.pdf.txtu821118.pdf.txtExtracted texttext/plain105968https://repositorio.uniandes.edu.co/bitstreams/e93b3a8e-d071-480e-81d5-56246126ff9b/downloadebae866cc997b9f2fd911c8019e467cfMD541992/39227oai:repositorio.uniandes.edu.co:1992/392272024-03-13 12:07:59.472http://creativecommons.org/licenses/by-nc-nd/4.0/open.accesshttps://repositorio.uniandes.edu.coRepositorio institucional Sénecaadminrepositorio@uniandes.edu.co
dc.title.es_CO.fl_str_mv Automatizando escalamiento y manejo de recursos para procesamiento por lotes del cubo de datos colombiano utilizando AWS Batch
title Automatizando escalamiento y manejo de recursos para procesamiento por lotes del cubo de datos colombiano utilizando AWS Batch
spellingShingle Automatizando escalamiento y manejo de recursos para procesamiento por lotes del cubo de datos colombiano utilizando AWS Batch
Procesamiento electrónico de datos
Computación en la nube
Servicios web
Ingeniería
title_short Automatizando escalamiento y manejo de recursos para procesamiento por lotes del cubo de datos colombiano utilizando AWS Batch
title_full Automatizando escalamiento y manejo de recursos para procesamiento por lotes del cubo de datos colombiano utilizando AWS Batch
title_fullStr Automatizando escalamiento y manejo de recursos para procesamiento por lotes del cubo de datos colombiano utilizando AWS Batch
title_full_unstemmed Automatizando escalamiento y manejo de recursos para procesamiento por lotes del cubo de datos colombiano utilizando AWS Batch
title_sort Automatizando escalamiento y manejo de recursos para procesamiento por lotes del cubo de datos colombiano utilizando AWS Batch
dc.creator.fl_str_mv Zuleta Calderón, Andrés Camilo
dc.contributor.advisor.none.fl_str_mv Castro Barrera, Harold Enrique
Villamizar Cano, Mario José
dc.contributor.author.none.fl_str_mv Zuleta Calderón, Andrés Camilo
dc.subject.keyword.es_CO.fl_str_mv Procesamiento electrónico de datos
Computación en la nube
Servicios web
topic Procesamiento electrónico de datos
Computación en la nube
Servicios web
Ingeniería
dc.subject.themes.none.fl_str_mv Ingeniería
description Los procesamientos por lotes representan una parte de gran importancia para procesos analíticos y de procesamiento de datos dentro de toda organización. Sin embargo existen retos asociados a estos, principalmente en el aprovisionamiento de recursos. El instituto de hidrología, meteorología y de estudios territoriales (IDEAM) colombiano, presenta una serie de estudios que se apoyan en el uso de procesamientos en batch para desarrollarlos de forma satisfactoria. No obstante, en estos momentos presentan limitantes de sus recursos computaciones disponibles y por tanto de escalabilidad. El propósito de este proyecto es ofrecer al IDEAM una solución escalable, altamente disponible y auto-gestionada de procesamiento por lotes a la vez que optimizamos factores como el desempeño y los costos utilizando el servicio de procesamiento por lotes en la nube AWS Batch.
publishDate 2018
dc.date.issued.none.fl_str_mv 2018
dc.date.accessioned.none.fl_str_mv 2020-06-10T16:06:57Z
dc.date.available.none.fl_str_mv 2020-06-10T16:06:57Z
dc.type.spa.fl_str_mv Trabajo de grado - Pregrado
dc.type.coarversion.fl_str_mv http://purl.org/coar/version/c_970fb48d4fbd8a85
dc.type.driver.spa.fl_str_mv info:eu-repo/semantics/bachelorThesis
dc.type.coar.spa.fl_str_mv http://purl.org/coar/resource_type/c_7a1f
dc.type.content.spa.fl_str_mv Text
dc.type.redcol.spa.fl_str_mv http://purl.org/redcol/resource_type/TP
format http://purl.org/coar/resource_type/c_7a1f
dc.identifier.uri.none.fl_str_mv http://hdl.handle.net/1992/39227
dc.identifier.pdf.none.fl_str_mv u821118.pdf
dc.identifier.instname.spa.fl_str_mv instname:Universidad de los Andes
dc.identifier.reponame.spa.fl_str_mv reponame:Repositorio Institucional Séneca
dc.identifier.repourl.spa.fl_str_mv repourl:https://repositorio.uniandes.edu.co/
url http://hdl.handle.net/1992/39227
identifier_str_mv u821118.pdf
instname:Universidad de los Andes
reponame:Repositorio Institucional Séneca
repourl:https://repositorio.uniandes.edu.co/
dc.language.iso.es_CO.fl_str_mv spa
language spa
dc.rights.uri.*.fl_str_mv http://creativecommons.org/licenses/by-nc-nd/4.0/
dc.rights.accessrights.spa.fl_str_mv info:eu-repo/semantics/openAccess
dc.rights.coar.spa.fl_str_mv http://purl.org/coar/access_right/c_abf2
rights_invalid_str_mv http://creativecommons.org/licenses/by-nc-nd/4.0/
http://purl.org/coar/access_right/c_abf2
eu_rights_str_mv openAccess
dc.format.extent.es_CO.fl_str_mv 70 hojas
dc.format.mimetype.es_CO.fl_str_mv application/pdf
dc.publisher.es_CO.fl_str_mv Universidad de los Andes
dc.publisher.program.es_CO.fl_str_mv Ingeniería de Sistemas y Computación
dc.publisher.faculty.es_CO.fl_str_mv Facultad de Ingeniería
dc.publisher.department.es_CO.fl_str_mv Departamento de Ingeniería de Sistemas y Computación
dc.source.es_CO.fl_str_mv instname:Universidad de los Andes
reponame:Repositorio Institucional Séneca
instname_str Universidad de los Andes
institution Universidad de los Andes
reponame_str Repositorio Institucional Séneca
collection Repositorio Institucional Séneca
bitstream.url.fl_str_mv https://repositorio.uniandes.edu.co/bitstreams/1719980b-42c7-49ab-b8cb-ed4e97b66c94/download
https://repositorio.uniandes.edu.co/bitstreams/be639fc5-bfee-47a4-a8ab-f81980731229/download
https://repositorio.uniandes.edu.co/bitstreams/e93b3a8e-d071-480e-81d5-56246126ff9b/download
bitstream.checksum.fl_str_mv ace31ffe906370eef9f968ea10e9a8a9
14b882de97d90c9a9c0cd03c0e3e095a
ebae866cc997b9f2fd911c8019e467cf
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
repository.name.fl_str_mv Repositorio institucional Séneca
repository.mail.fl_str_mv adminrepositorio@uniandes.edu.co
_version_ 1828159188759478272

Publicaciones similares