Automatización de un proceso de extracción, transformación y carga de datos, enmarcado en el diseño de experiencia al cliente de la empresa TIGO

RESUMEN: El BIG DATA es un término que ha tenido un auge reciente debido, entre otros, a sus aplicaciones en los negocios. Con él se describe la recopilación masiva de datos que en la mayoría de los casos son difíciles de procesar ya que están almacenados en diferentes motores de bases de datos rela...

Full description

Autores:
Loaiza López, Julián Andrés
Tipo de recurso:
Trabajo de grado de pregrado
Fecha de publicación:
2020
Institución:
Universidad de Antioquia
Repositorio:
Repositorio UdeA
Idioma:
spa
OAI Identifier:
oai:bibliotecadigital.udea.edu.co:10495/17262
Acceso en línea:
http://hdl.handle.net/10495/17262
Palabra clave:
Automatización
Automation
Digitalización
Digitization
Base de datos
Databases
Programa de ordenador
Computer software
Fuente de información
Information sources
http://vocabularies.unesco.org/thesaurus/concept3401
http://vocabularies.unesco.org/thesaurus/concept7411
http://vocabularies.unesco.org/thesaurus/concept501
http://vocabularies.unesco.org/thesaurus/concept6081
http://vocabularies.unesco.org/thesaurus/concept503
Rights
openAccess
License
http://creativecommons.org/licenses/by-nc-nd/2.5/co/
id UDEA2_17b8b102414e89b8418a09c4ba7bae54
oai_identifier_str oai:bibliotecadigital.udea.edu.co:10495/17262
network_acronym_str UDEA2
network_name_str Repositorio UdeA
repository_id_str
dc.title.spa.fl_str_mv Automatización de un proceso de extracción, transformación y carga de datos, enmarcado en el diseño de experiencia al cliente de la empresa TIGO
title Automatización de un proceso de extracción, transformación y carga de datos, enmarcado en el diseño de experiencia al cliente de la empresa TIGO
spellingShingle Automatización de un proceso de extracción, transformación y carga de datos, enmarcado en el diseño de experiencia al cliente de la empresa TIGO
Automatización
Automation
Digitalización
Digitization
Base de datos
Databases
Programa de ordenador
Computer software
Fuente de información
Information sources
http://vocabularies.unesco.org/thesaurus/concept3401
http://vocabularies.unesco.org/thesaurus/concept7411
http://vocabularies.unesco.org/thesaurus/concept501
http://vocabularies.unesco.org/thesaurus/concept6081
http://vocabularies.unesco.org/thesaurus/concept503
title_short Automatización de un proceso de extracción, transformación y carga de datos, enmarcado en el diseño de experiencia al cliente de la empresa TIGO
title_full Automatización de un proceso de extracción, transformación y carga de datos, enmarcado en el diseño de experiencia al cliente de la empresa TIGO
title_fullStr Automatización de un proceso de extracción, transformación y carga de datos, enmarcado en el diseño de experiencia al cliente de la empresa TIGO
title_full_unstemmed Automatización de un proceso de extracción, transformación y carga de datos, enmarcado en el diseño de experiencia al cliente de la empresa TIGO
title_sort Automatización de un proceso de extracción, transformación y carga de datos, enmarcado en el diseño de experiencia al cliente de la empresa TIGO
dc.creator.fl_str_mv Loaiza López, Julián Andrés
dc.contributor.advisor.none.fl_str_mv Rivera Velez, Fredy Alexander
Arrieta Argel, María Ángel
dc.contributor.author.none.fl_str_mv Loaiza López, Julián Andrés
dc.subject.unesco.none.fl_str_mv Automatización
Automation
Digitalización
Digitization
Base de datos
Databases
Programa de ordenador
Computer software
Fuente de información
Information sources
topic Automatización
Automation
Digitalización
Digitization
Base de datos
Databases
Programa de ordenador
Computer software
Fuente de información
Information sources
http://vocabularies.unesco.org/thesaurus/concept3401
http://vocabularies.unesco.org/thesaurus/concept7411
http://vocabularies.unesco.org/thesaurus/concept501
http://vocabularies.unesco.org/thesaurus/concept6081
http://vocabularies.unesco.org/thesaurus/concept503
dc.subject.unescouri.none.fl_str_mv http://vocabularies.unesco.org/thesaurus/concept3401
http://vocabularies.unesco.org/thesaurus/concept7411
http://vocabularies.unesco.org/thesaurus/concept501
http://vocabularies.unesco.org/thesaurus/concept6081
http://vocabularies.unesco.org/thesaurus/concept503
description RESUMEN: El BIG DATA es un término que ha tenido un auge reciente debido, entre otros, a sus aplicaciones en los negocios. Con él se describe la recopilación masiva de datos que en la mayoría de los casos son difíciles de procesar ya que están almacenados en diferentes motores de bases de datos relacionales y no relacionales. Estos requieren de técnicas de software y herramientas para encontrar, transformar, analizar y visualizar, por tal razón estas técnicas son necesarias para la toma de decisiones. El Big Data se puede enmarcar en tres áreas o las 3V que son volumen, velocidad y variedad. El volumen hace referencia al almacenamiento de una gran cantidad de datos provenientes de diferentes fuentes como son redes sociales, sensores, entre otros. La velocidad con que se trasmiten estos datos no tiene precedentes, se puede afirmar que es casi en tiempo real. La variedad son los diferentes tipos de formatos en los que ingresan los datos, como son textos estructurados, numéricos, no estructurados, correos electrónicos, video, audio, entre otros. Es de vital importancia poder agrupar datos de múltiples fuentes o aplicaciones, almacenarlos y acondicionarlos a las necesidades de las organizaciones. Por estas razones se formuló un marco de trabajo para la extracción transformación y carga de datos conocido como ETL. La primera etapa del ETL consiste en extraer los datos relevantes o apropiados de las diferentes fuentes de información con datos que generalmente están disponibles sin formato, CSV, XLS o TXT, también se puede hacer mediante un cliente RESTful. La transformación requiere la limpieza de los datos, haciendo uso de controles de calidad, para cumplir con los requerimientos del esquema de destino. Las actividades básicas comprenden la normalización de los datos, la eliminación de duplicados, filtrado de datos basados en criterios definidos por los interesados, clasificación y agrupación de los datos acorde a los requerimientos. La última etapa de Carga implica llevar los datos a una base de datos de destino, data mart o data warehouse para ser consumida por el cliente. Este proyecto utilizó la herramienta comercial Microsoft SQL Server Integration Services, un servicio en la nube de AWS S3 y Automatic Task para automatizar el proceso, que al final es cargado como un archivo plano con información de los clientes que han utilizado el servicio corrección de fallas automáticas, utilizando un servidor de envío masivo de SMS para que el cliente califique el servicio y de esta forma los analistas de servicio al cliente puedan tomar decisiones para mejorar el servicio.
publishDate 2020
dc.date.accessioned.none.fl_str_mv 2020-11-10T16:48:09Z
dc.date.available.none.fl_str_mv 2020-11-10T16:48:09Z
dc.date.issued.none.fl_str_mv 2020
dc.type.spa.fl_str_mv info:eu-repo/semantics/bachelorThesis
dc.type.hasversion.spa.fl_str_mv info:eu-repo/semantics/acceptedVersion
dc.type.coar.spa.fl_str_mv http://purl.org/coar/resource_type/c_7a1f
dc.type.redcol.spa.fl_str_mv https://purl.org/redcol/resource_type/TP
dc.type.local.spa.fl_str_mv Tesis/Trabajo de grado - Monografía - Pregrado
format http://purl.org/coar/resource_type/c_7a1f
status_str acceptedVersion
dc.identifier.uri.none.fl_str_mv http://hdl.handle.net/10495/17262
url http://hdl.handle.net/10495/17262
dc.language.iso.spa.fl_str_mv spa
language spa
dc.rights.spa.fl_str_mv info:eu-repo/semantics/openAccess
dc.rights.uri.*.fl_str_mv http://creativecommons.org/licenses/by-nc-nd/2.5/co/
dc.rights.accessrights.spa.fl_str_mv http://purl.org/coar/access_right/c_abf2
dc.rights.creativecommons.spa.fl_str_mv https://creativecommons.org/licenses/by-nc-nd/4.0/
eu_rights_str_mv openAccess
rights_invalid_str_mv http://creativecommons.org/licenses/by-nc-nd/2.5/co/
http://purl.org/coar/access_right/c_abf2
https://creativecommons.org/licenses/by-nc-nd/4.0/
dc.format.extent.spa.fl_str_mv 22
dc.format.mimetype.spa.fl_str_mv application/pdf
dc.publisher.place.spa.fl_str_mv Medellín, Colombia
institution Universidad de Antioquia
bitstream.url.fl_str_mv https://bibliotecadigital.udea.edu.co/bitstream/10495/17262/4/license_rdf
https://bibliotecadigital.udea.edu.co/bitstream/10495/17262/5/license.txt
https://bibliotecadigital.udea.edu.co/bitstream/10495/17262/1/LoaizaJulian_2020_AutomatizacionProcesoExtraccion.pdf
bitstream.checksum.fl_str_mv b88b088d9957e670ce3b3fbe2eedbc13
8a4605be74aa9ea9d79846c1fba20a33
0403b7750c284d108e1648fc363afd86
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
repository.name.fl_str_mv Repositorio Institucional Universidad de Antioquia
repository.mail.fl_str_mv andres.perez@udea.edu.co
_version_ 1812173290148462592
spelling Rivera Velez, Fredy AlexanderArrieta Argel, María ÁngelLoaiza López, Julián Andrés2020-11-10T16:48:09Z2020-11-10T16:48:09Z2020http://hdl.handle.net/10495/17262RESUMEN: El BIG DATA es un término que ha tenido un auge reciente debido, entre otros, a sus aplicaciones en los negocios. Con él se describe la recopilación masiva de datos que en la mayoría de los casos son difíciles de procesar ya que están almacenados en diferentes motores de bases de datos relacionales y no relacionales. Estos requieren de técnicas de software y herramientas para encontrar, transformar, analizar y visualizar, por tal razón estas técnicas son necesarias para la toma de decisiones. El Big Data se puede enmarcar en tres áreas o las 3V que son volumen, velocidad y variedad. El volumen hace referencia al almacenamiento de una gran cantidad de datos provenientes de diferentes fuentes como son redes sociales, sensores, entre otros. La velocidad con que se trasmiten estos datos no tiene precedentes, se puede afirmar que es casi en tiempo real. La variedad son los diferentes tipos de formatos en los que ingresan los datos, como son textos estructurados, numéricos, no estructurados, correos electrónicos, video, audio, entre otros. Es de vital importancia poder agrupar datos de múltiples fuentes o aplicaciones, almacenarlos y acondicionarlos a las necesidades de las organizaciones. Por estas razones se formuló un marco de trabajo para la extracción transformación y carga de datos conocido como ETL. La primera etapa del ETL consiste en extraer los datos relevantes o apropiados de las diferentes fuentes de información con datos que generalmente están disponibles sin formato, CSV, XLS o TXT, también se puede hacer mediante un cliente RESTful. La transformación requiere la limpieza de los datos, haciendo uso de controles de calidad, para cumplir con los requerimientos del esquema de destino. Las actividades básicas comprenden la normalización de los datos, la eliminación de duplicados, filtrado de datos basados en criterios definidos por los interesados, clasificación y agrupación de los datos acorde a los requerimientos. La última etapa de Carga implica llevar los datos a una base de datos de destino, data mart o data warehouse para ser consumida por el cliente. Este proyecto utilizó la herramienta comercial Microsoft SQL Server Integration Services, un servicio en la nube de AWS S3 y Automatic Task para automatizar el proceso, que al final es cargado como un archivo plano con información de los clientes que han utilizado el servicio corrección de fallas automáticas, utilizando un servidor de envío masivo de SMS para que el cliente califique el servicio y de esta forma los analistas de servicio al cliente puedan tomar decisiones para mejorar el servicio.22application/pdfspainfo:eu-repo/semantics/acceptedVersioninfo:eu-repo/semantics/bachelorThesishttp://purl.org/coar/resource_type/c_7a1fhttps://purl.org/redcol/resource_type/TPTesis/Trabajo de grado - Monografía - Pregradoinfo:eu-repo/semantics/openAccesshttp://creativecommons.org/licenses/by-nc-nd/2.5/co/http://purl.org/coar/access_right/c_abf2https://creativecommons.org/licenses/by-nc-nd/4.0/Automatización de un proceso de extracción, transformación y carga de datos, enmarcado en el diseño de experiencia al cliente de la empresa TIGOMedellín, ColombiaAutomatizaciónAutomationDigitalizaciónDigitizationBase de datosDatabasesPrograma de ordenadorComputer softwareFuente de informaciónInformation sourceshttp://vocabularies.unesco.org/thesaurus/concept3401http://vocabularies.unesco.org/thesaurus/concept7411http://vocabularies.unesco.org/thesaurus/concept501http://vocabularies.unesco.org/thesaurus/concept6081http://vocabularies.unesco.org/thesaurus/concept503Profesional en Ingeniería de SistemasPregradoFacultad de Ingeniería. Carrera Ingeniería de SistemasUniversidad de AntioquiaCC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8823https://bibliotecadigital.udea.edu.co/bitstream/10495/17262/4/license_rdfb88b088d9957e670ce3b3fbe2eedbc13MD54LICENSElicense.txtlicense.txttext/plain; charset=utf-81748https://bibliotecadigital.udea.edu.co/bitstream/10495/17262/5/license.txt8a4605be74aa9ea9d79846c1fba20a33MD55ORIGINALLoaizaJulian_2020_AutomatizacionProcesoExtraccion.pdfLoaizaJulian_2020_AutomatizacionProcesoExtraccion.pdfTrabajo de grado de pregradoapplication/pdf1435438https://bibliotecadigital.udea.edu.co/bitstream/10495/17262/1/LoaizaJulian_2020_AutomatizacionProcesoExtraccion.pdf0403b7750c284d108e1648fc363afd86MD5110495/17262oai:bibliotecadigital.udea.edu.co:10495/172622021-06-28 14:38:58.518Repositorio Institucional Universidad de Antioquiaandres.perez@udea.edu.coTk9URTogUExBQ0UgWU9VUiBPV04gTElDRU5TRSBIRVJFClRoaXMgc2FtcGxlIGxpY2Vuc2UgaXMgcHJvdmlkZWQgZm9yIGluZm9ybWF0aW9uYWwgcHVycG9zZXMgb25seS4KCk5PTi1FWENMVVNJVkUgRElTVFJJQlVUSU9OIExJQ0VOU0UKCkJ5IHNpZ25pbmcgYW5kIHN1Ym1pdHRpbmcgdGhpcyBsaWNlbnNlLCB5b3UgKHRoZSBhdXRob3Iocykgb3IgY29weXJpZ2h0Cm93bmVyKSBncmFudHMgdG8gRFNwYWNlIFVuaXZlcnNpdHkgKERTVSkgdGhlIG5vbi1leGNsdXNpdmUgcmlnaHQgdG8gcmVwcm9kdWNlLAp0cmFuc2xhdGUgKGFzIGRlZmluZWQgYmVsb3cpLCBhbmQvb3IgZGlzdHJpYnV0ZSB5b3VyIHN1Ym1pc3Npb24gKGluY2x1ZGluZwp0aGUgYWJzdHJhY3QpIHdvcmxkd2lkZSBpbiBwcmludCBhbmQgZWxlY3Ryb25pYyBmb3JtYXQgYW5kIGluIGFueSBtZWRpdW0sCmluY2x1ZGluZyBidXQgbm90IGxpbWl0ZWQgdG8gYXVkaW8gb3IgdmlkZW8uCgpZb3UgYWdyZWUgdGhhdCBEU1UgbWF5LCB3aXRob3V0IGNoYW5naW5nIHRoZSBjb250ZW50LCB0cmFuc2xhdGUgdGhlCnN1Ym1pc3Npb24gdG8gYW55IG1lZGl1bSBvciBmb3JtYXQgZm9yIHRoZSBwdXJwb3NlIG9mIHByZXNlcnZhdGlvbi4KCllvdSBhbHNvIGFncmVlIHRoYXQgRFNVIG1heSBrZWVwIG1vcmUgdGhhbiBvbmUgY29weSBvZiB0aGlzIHN1Ym1pc3Npb24gZm9yCnB1cnBvc2VzIG9mIHNlY3VyaXR5LCBiYWNrLXVwIGFuZCBwcmVzZXJ2YXRpb24uCgpZb3UgcmVwcmVzZW50IHRoYXQgdGhlIHN1Ym1pc3Npb24gaXMgeW91ciBvcmlnaW5hbCB3b3JrLCBhbmQgdGhhdCB5b3UgaGF2ZQp0aGUgcmlnaHQgdG8gZ3JhbnQgdGhlIHJpZ2h0cyBjb250YWluZWQgaW4gdGhpcyBsaWNlbnNlLiBZb3UgYWxzbyByZXByZXNlbnQKdGhhdCB5b3VyIHN1Ym1pc3Npb24gZG9lcyBub3QsIHRvIHRoZSBiZXN0IG9mIHlvdXIga25vd2xlZGdlLCBpbmZyaW5nZSB1cG9uCmFueW9uZSdzIGNvcHlyaWdodC4KCklmIHRoZSBzdWJtaXNzaW9uIGNvbnRhaW5zIG1hdGVyaWFsIGZvciB3aGljaCB5b3UgZG8gbm90IGhvbGQgY29weXJpZ2h0LAp5b3UgcmVwcmVzZW50IHRoYXQgeW91IGhhdmUgb2J0YWluZWQgdGhlIHVucmVzdHJpY3RlZCBwZXJtaXNzaW9uIG9mIHRoZQpjb3B5cmlnaHQgb3duZXIgdG8gZ3JhbnQgRFNVIHRoZSByaWdodHMgcmVxdWlyZWQgYnkgdGhpcyBsaWNlbnNlLCBhbmQgdGhhdApzdWNoIHRoaXJkLXBhcnR5IG93bmVkIG1hdGVyaWFsIGlzIGNsZWFybHkgaWRlbnRpZmllZCBhbmQgYWNrbm93bGVkZ2VkCndpdGhpbiB0aGUgdGV4dCBvciBjb250ZW50IG9mIHRoZSBzdWJtaXNzaW9uLgoKSUYgVEhFIFNVQk1JU1NJT04gSVMgQkFTRUQgVVBPTiBXT1JLIFRIQVQgSEFTIEJFRU4gU1BPTlNPUkVEIE9SIFNVUFBPUlRFRApCWSBBTiBBR0VOQ1kgT1IgT1JHQU5JWkFUSU9OIE9USEVSIFRIQU4gRFNVLCBZT1UgUkVQUkVTRU5UIFRIQVQgWU9VIEhBVkUKRlVMRklMTEVEIEFOWSBSSUdIVCBPRiBSRVZJRVcgT1IgT1RIRVIgT0JMSUdBVElPTlMgUkVRVUlSRUQgQlkgU1VDSApDT05UUkFDVCBPUiBBR1JFRU1FTlQuCgpEU1Ugd2lsbCBjbGVhcmx5IGlkZW50aWZ5IHlvdXIgbmFtZShzKSBhcyB0aGUgYXV0aG9yKHMpIG9yIG93bmVyKHMpIG9mIHRoZQpzdWJtaXNzaW9uLCBhbmQgd2lsbCBub3QgbWFrZSBhbnkgYWx0ZXJhdGlvbiwgb3RoZXIgdGhhbiBhcyBhbGxvd2VkIGJ5IHRoaXMKbGljZW5zZSwgdG8geW91ciBzdWJtaXNzaW9uLgo=