Forecasting credit card attrition using machine learning models

Este trabajo tiene como objetivo el estudio, aplicación e implementación de modelos Machine Learning para identificar qué clientes desean cancelar alguna de sus tarjetas de crédito. La industria bancaria utiliza esta tecnología con el fin de obtener predicciones más fiables a la hora de identificar...

Full description

Autores:
Tipo de recurso:
Article of investigation
Fecha de publicación:
2020
Institución:
Universidad de Bogotá Jorge Tadeo Lozano
Repositorio:
Expeditio: repositorio UTadeo
Idioma:
eng
OAI Identifier:
oai:expeditiorepositorio.utadeo.edu.co:20.500.12010/13883
Acceso en línea:
http://hdl.handle.net/20.500.12010/13883
http://expeditio.utadeo.edu.co
Palabra clave:
Aprendizaje Supervisado
Regresión Logística
Aprendizaje
Aprendizaje
Logística empresarial
Procesamiento de datos
Machine Learning
Attrition
Rights
License
Abierto (Texto Completo)
id UTADEO2_196a76d15f877b508b67c441355130dc
oai_identifier_str oai:expeditiorepositorio.utadeo.edu.co:20.500.12010/13883
network_acronym_str UTADEO2
network_name_str Expeditio: repositorio UTadeo
repository_id_str
dc.title.spa.fl_str_mv Forecasting credit card attrition using machine learning models
title Forecasting credit card attrition using machine learning models
spellingShingle Forecasting credit card attrition using machine learning models
Aprendizaje Supervisado
Regresión Logística
Aprendizaje
Aprendizaje
Logística empresarial
Procesamiento de datos
Machine Learning
Attrition
title_short Forecasting credit card attrition using machine learning models
title_full Forecasting credit card attrition using machine learning models
title_fullStr Forecasting credit card attrition using machine learning models
title_full_unstemmed Forecasting credit card attrition using machine learning models
title_sort Forecasting credit card attrition using machine learning models
dc.contributor.advisor.none.fl_str_mv Galpin, I.
dc.subject.spa.fl_str_mv Aprendizaje Supervisado
Regresión Logística
Aprendizaje
topic Aprendizaje Supervisado
Regresión Logística
Aprendizaje
Aprendizaje
Logística empresarial
Procesamiento de datos
Machine Learning
Attrition
dc.subject.lemb.spa.fl_str_mv Aprendizaje
Logística empresarial
Procesamiento de datos
dc.subject.keyword.spa.fl_str_mv Machine Learning
Attrition
description Este trabajo tiene como objetivo el estudio, aplicación e implementación de modelos Machine Learning para identificar qué clientes desean cancelar alguna de sus tarjetas de crédito. La industria bancaria utiliza esta tecnología con el fin de obtener predicciones más fiables a la hora de identificar oportunidades de compra, inversión o fraude. Estos modelos se pueden adaptar de forma independiente, por medio del reconocimiento de patrones y algoritmos basados en cálculos matemáticos. Para desarrollar la investigación se implementaron y evaluaron cuatro modelos (LightGBM, XGBoost, Random Forest y Logistic Regression) con el fin de predecir a través de los datos del cliente y sus productos la posibilidad de que cancele sus tarjetas de crédito. Mediante una análisis de la curvas ROC usando las métricas AUC, se llegó a la conclusión que de los modelos seleccionados, el modelo elegido para realizar la predicción fue LightGBM, ya que fue el que tuvo mejor desempeño en los experimentos realizados. De igual forma, se encontró que la variable Score Acierta, una calificación del cliente proveída por la central de riesgos, es la que más discrimina en los modelos predicción.
publishDate 2020
dc.date.accessioned.none.fl_str_mv 2020-09-28T14:18:57Z
dc.date.available.none.fl_str_mv 2020-09-28T14:18:57Z
dc.date.created.none.fl_str_mv 2020
dc.type.local.spa.fl_str_mv Trabajo de grado de maestría
dc.type.driver.spa.fl_str_mv info:eu-repo/semantics/masterThesis
dc.type.coar.spa.fl_str_mv http://purl.org/coar/resource_type/c_2df8fbb1
format http://purl.org/coar/resource_type/c_2df8fbb1
dc.identifier.uri.none.fl_str_mv http://hdl.handle.net/20.500.12010/13883
dc.identifier.repourl.spa.fl_str_mv http://expeditio.utadeo.edu.co
url http://hdl.handle.net/20.500.12010/13883
http://expeditio.utadeo.edu.co
dc.language.iso.spa.fl_str_mv eng
language eng
dc.relation.references.spa.fl_str_mv Breiman, L.: Random forests. Machine learning 45(1), 5{32 (2001)
Casta~no, H.F., Ram rez, F.O.P.: El modelo log stico: una herramienta estad stica para evaluar el riesgo de cr edito. Revista Ingenier as Universidad de Medell n 4(6), 55{75 (2005)
Chen, T., He, T., Benesty, M., Khotilovich, V., Tang, Y.: Xgboost: extreme gradient boosting. R package version 0.4-2 pp. 1{4 (2015)
Chitra, K., Subashini, B.: Customer retention in banking sector using predictive data mining technique. In: ICIT 2011 The 5th International Conference on Information Technology (2011)
Dfuf, I.A.: An alisis de Sensibilidad Mediante Random Forest. Ph.D. thesis, Universidad Polit ecnica de Madrid (2018)
He, B., Shi, Y., Wan, Q., Zhao, X.: Prediction of customer attrition of commercial banks based on svm model. Procedia Computer Science 31, 423{430 (2014)
Jes us, E.Z.J., Gerencia, C.: Aplicaci on de algoritmos random forest y xgboost en una base de solicitudes de tarjetas de cr edito application of random forest and xgboost algorithms based on a credit card applications database. IngenIer a InvestIgacI on y tecnolog a 21(3), 1{16 (2020)
Ke, G., Meng, Q., Finley, T., Wang, T., Chen, W., Ma, W., Ye, Q., Liu, T.Y.: Lightgbm: A highly e cient gradient boosting decision tree. In: Advances in neural information processing systems. pp. 3146{3154 (2017)
Krishnan, S.: Weight of evidence and information value using python (2018), https://medium.com/@sundarstyles89/ weight-of-evidence-and-information-value-using-python-6f05072e83eb
LaMorte, W.W.: Cox proportional hazards regression analysis (2016), https://sphweb.bumc.bu.edu/otlt/MPH-Modules/BS/BS704_Survival/BS704_ Survival6.html
Manrai, L.A., Manrai, A.K.: A eld study of customers' switching behavior for bank services. Journal of retailing and consumer services 14(3), 208{215 (2007)
Mittal, V., Kamakura, W.A.: Satisfaction, repurchase intent, and repurchase behavior: Investigating the moderating e ect of customer characteristics. Journal of marketing research 38(1), 131{142 (2001)
Van den Poel, D., Lariviere, B.: Customer attrition analysis for nancial services using proportional hazard models. European journal of operational research 157(1), 196{217 (2004)
Rez a c, M., Rez a c, F.: How to measure the quality of credit scoring models. Finance a uv er: Czech Journal of Economics and Finance 61(5), 486{507 (2011)
Tang, L., Thomas, L., Fletcher, M., Pan, J., Marshall, A.: Assessing the impact of derived behavior information on customer attrition in the nancial service industry. European Journal of Operational Research 236(2), 624{633 (2014)
Verbeke, W., Martens, D., Mues, C., Baesens, B.: Building comprehensible customer churn prediction models with advanced rule induction techniques. Expert systems with applications 38(3), 2354{2364 (2011)
Wirth, R., Hipp, J.: Crisp-dm: Towards a standard process model for data mining. In: Proc. of the 4th international conference on the practical applications of knowledge discovery and data mining. pp. 29{39. Springer-Verlag London, UK (2000)
Xie, Y., Li, X., Ngai, E., Ying, W.: Customer churn prediction using improved balanced random forests. Expert Systems with Applications 36(3), 5445{5449 (2009)
Zhao, X., Shi, Y., Lee, J., Kim, H.K., Lee, H.: Customer churn prediction based on feature clustering and nonparallel support vector machine. International Journal of Information Technology & Decision Making 13(05), 1013{1027 (2014)
dc.rights.coar.fl_str_mv http://purl.org/coar/access_right/c_abf2
dc.rights.local.spa.fl_str_mv Abierto (Texto Completo)
rights_invalid_str_mv Abierto (Texto Completo)
http://purl.org/coar/access_right/c_abf2
dc.format.extent.spa.fl_str_mv 15 páginas
dc.format.mimetype.spa.fl_str_mv application/pdf
dc.coverage.spatial.spa.fl_str_mv Colombia
dc.publisher.spa.fl_str_mv Universidad de Bogotá Jorge Tadeo Lozano
dc.publisher.program.spa.fl_str_mv Maestría en Ingeniería y Analítica de Datos
dc.source.spa.fl_str_mv instname:Universidad de Bogotá Jorge Tadeo Lozano
reponame:Expeditio Repositorio Institucional UJTL
instname_str Universidad de Bogotá Jorge Tadeo Lozano
institution Universidad de Bogotá Jorge Tadeo Lozano
reponame_str Expeditio Repositorio Institucional UJTL
collection Expeditio Repositorio Institucional UJTL
bitstream.url.fl_str_mv https://expeditiorepositorio.utadeo.edu.co/bitstream/20.500.12010/13883/1/Trabajo%20de%20grado.pdf
https://expeditiorepositorio.utadeo.edu.co/bitstream/20.500.12010/13883/2/license.txt
https://expeditiorepositorio.utadeo.edu.co/bitstream/20.500.12010/13883/3/Licencia%20de%20autorizaci%c3%b3n.pdf
https://expeditiorepositorio.utadeo.edu.co/bitstream/20.500.12010/13883/4/Trabajo%20de%20grado.pdf.jpg
bitstream.checksum.fl_str_mv e7da67894f4555e7ed0096eeeac8cff7
abceeb1c943c50d3343516f9dbfc110f
83638148fdee6ae74060c04f1422d812
16c6b0b95fa2b9d5f4b4625f443df8ae
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositorio Institucional - Universidad Jorge Tadeo Lozano
repository.mail.fl_str_mv expeditiorepositorio@utadeo.edu.co
_version_ 1808495315962036224
spelling Galpin, I.Rico Poveda, Carlos AlvaroMagíster en Ingeniería y Analítica de DatosColombia2020-09-28T14:18:57Z2020-09-28T14:18:57Z2020http://hdl.handle.net/20.500.12010/13883http://expeditio.utadeo.edu.coEste trabajo tiene como objetivo el estudio, aplicación e implementación de modelos Machine Learning para identificar qué clientes desean cancelar alguna de sus tarjetas de crédito. La industria bancaria utiliza esta tecnología con el fin de obtener predicciones más fiables a la hora de identificar oportunidades de compra, inversión o fraude. Estos modelos se pueden adaptar de forma independiente, por medio del reconocimiento de patrones y algoritmos basados en cálculos matemáticos. Para desarrollar la investigación se implementaron y evaluaron cuatro modelos (LightGBM, XGBoost, Random Forest y Logistic Regression) con el fin de predecir a través de los datos del cliente y sus productos la posibilidad de que cancele sus tarjetas de crédito. Mediante una análisis de la curvas ROC usando las métricas AUC, se llegó a la conclusión que de los modelos seleccionados, el modelo elegido para realizar la predicción fue LightGBM, ya que fue el que tuvo mejor desempeño en los experimentos realizados. De igual forma, se encontró que la variable Score Acierta, una calificación del cliente proveída por la central de riesgos, es la que más discrimina en los modelos predicción.The objective of this work is the implementation and evaluation of Machine Learning models to identify which customers want to cancel their credit cards. The banking industry uses this technology to obtain more reliable predictions when identifying opportunities for purchase, investment, or fraud. These models can be adapted independently, by recognizing patterns and algorithms based on mathematical calculations. Four models (LightGBM, XGBoost, Random Forest and Logistic Regression) were implemented and evaluated to predict, using data about customers and products held pertaining to a bank in Colombia, the likelihood of customers cancelling their credit cards. By analysing the ROC curves using the AUC metric, it is concluded that, of the selected models, the model chosen for deployment would be LightGBM, since it was the one that performed best in the experiments conducted. Furthermore, the ``Score Acierta'' variable, a customer rating provided by the Colombian credit rating agency, was found to be the most discriminating in prediction models.15 páginasapplication/pdfengUniversidad de Bogotá Jorge Tadeo LozanoMaestría en Ingeniería y Analítica de Datosinstname:Universidad de Bogotá Jorge Tadeo Lozanoreponame:Expeditio Repositorio Institucional UJTLAprendizaje SupervisadoRegresión LogísticaAprendizajeAprendizajeLogística empresarialProcesamiento de datosMachine LearningAttritionForecasting credit card attrition using machine learning modelsTrabajo de grado de maestríainfo:eu-repo/semantics/masterThesishttp://purl.org/coar/resource_type/c_2df8fbb1Abierto (Texto Completo)http://purl.org/coar/access_right/c_abf2Breiman, L.: Random forests. Machine learning 45(1), 5{32 (2001)Casta~no, H.F., Ram rez, F.O.P.: El modelo log stico: una herramienta estad stica para evaluar el riesgo de cr edito. Revista Ingenier as Universidad de Medell n 4(6), 55{75 (2005)Chen, T., He, T., Benesty, M., Khotilovich, V., Tang, Y.: Xgboost: extreme gradient boosting. R package version 0.4-2 pp. 1{4 (2015)Chitra, K., Subashini, B.: Customer retention in banking sector using predictive data mining technique. In: ICIT 2011 The 5th International Conference on Information Technology (2011)Dfuf, I.A.: An alisis de Sensibilidad Mediante Random Forest. Ph.D. thesis, Universidad Polit ecnica de Madrid (2018)He, B., Shi, Y., Wan, Q., Zhao, X.: Prediction of customer attrition of commercial banks based on svm model. Procedia Computer Science 31, 423{430 (2014)Jes us, E.Z.J., Gerencia, C.: Aplicaci on de algoritmos random forest y xgboost en una base de solicitudes de tarjetas de cr edito application of random forest and xgboost algorithms based on a credit card applications database. IngenIer a InvestIgacI on y tecnolog a 21(3), 1{16 (2020)Ke, G., Meng, Q., Finley, T., Wang, T., Chen, W., Ma, W., Ye, Q., Liu, T.Y.: Lightgbm: A highly e cient gradient boosting decision tree. In: Advances in neural information processing systems. pp. 3146{3154 (2017)Krishnan, S.: Weight of evidence and information value using python (2018), https://medium.com/@sundarstyles89/ weight-of-evidence-and-information-value-using-python-6f05072e83ebLaMorte, W.W.: Cox proportional hazards regression analysis (2016), https://sphweb.bumc.bu.edu/otlt/MPH-Modules/BS/BS704_Survival/BS704_ Survival6.htmlManrai, L.A., Manrai, A.K.: A eld study of customers' switching behavior for bank services. Journal of retailing and consumer services 14(3), 208{215 (2007)Mittal, V., Kamakura, W.A.: Satisfaction, repurchase intent, and repurchase behavior: Investigating the moderating e ect of customer characteristics. Journal of marketing research 38(1), 131{142 (2001)Van den Poel, D., Lariviere, B.: Customer attrition analysis for nancial services using proportional hazard models. European journal of operational research 157(1), 196{217 (2004)Rez a c, M., Rez a c, F.: How to measure the quality of credit scoring models. Finance a uv er: Czech Journal of Economics and Finance 61(5), 486{507 (2011)Tang, L., Thomas, L., Fletcher, M., Pan, J., Marshall, A.: Assessing the impact of derived behavior information on customer attrition in the nancial service industry. European Journal of Operational Research 236(2), 624{633 (2014)Verbeke, W., Martens, D., Mues, C., Baesens, B.: Building comprehensible customer churn prediction models with advanced rule induction techniques. Expert systems with applications 38(3), 2354{2364 (2011)Wirth, R., Hipp, J.: Crisp-dm: Towards a standard process model for data mining. In: Proc. of the 4th international conference on the practical applications of knowledge discovery and data mining. pp. 29{39. Springer-Verlag London, UK (2000)Xie, Y., Li, X., Ngai, E., Ying, W.: Customer churn prediction using improved balanced random forests. Expert Systems with Applications 36(3), 5445{5449 (2009)Zhao, X., Shi, Y., Lee, J., Kim, H.K., Lee, H.: Customer churn prediction based on feature clustering and nonparallel support vector machine. International Journal of Information Technology & Decision Making 13(05), 1013{1027 (2014)ORIGINALTrabajo de grado.pdfTrabajo de grado.pdfTrabajo de gradoapplication/pdf1436574https://expeditiorepositorio.utadeo.edu.co/bitstream/20.500.12010/13883/1/Trabajo%20de%20grado.pdfe7da67894f4555e7ed0096eeeac8cff7MD51open accessLICENSElicense.txtlicense.txttext/plain; charset=utf-82938https://expeditiorepositorio.utadeo.edu.co/bitstream/20.500.12010/13883/2/license.txtabceeb1c943c50d3343516f9dbfc110fMD52open accessLicencia de autorización.pdfLicencia de autorización.pdfLicencia de autorizaciónapplication/pdf503177https://expeditiorepositorio.utadeo.edu.co/bitstream/20.500.12010/13883/3/Licencia%20de%20autorizaci%c3%b3n.pdf83638148fdee6ae74060c04f1422d812MD53open accessTHUMBNAILTrabajo de grado.pdf.jpgTrabajo de grado.pdf.jpgIM Thumbnailimage/jpeg8457https://expeditiorepositorio.utadeo.edu.co/bitstream/20.500.12010/13883/4/Trabajo%20de%20grado.pdf.jpg16c6b0b95fa2b9d5f4b4625f443df8aeMD54open access20.500.12010/13883oai:expeditiorepositorio.utadeo.edu.co:20.500.12010/138832024-03-14 09:59:14.358open accessRepositorio Institucional - Universidad Jorge Tadeo Lozanoexpeditiorepositorio@utadeo.edu.coQXV0b3Jpem8gYWwgU2lzdGVtYSBkZSBCaWJsaW90ZWNhcyBVbml2ZXJzaWRhZCBkZSBCb2dvdMOhIEpvcmdlIFRhZGVvIExvemFubyBwYXJhIHF1ZSBjb24gZmluZXMgYWNhZMOpbWljb3MsIHByZXNlcnZlLCBjb25zZXJ2ZSwgb3JnYW5pY2UsIGVkaXRlIHkgbW9kaWZpcXVlIHRlY25vbMOzZ2ljYW1lbnRlIGVsIGRvY3VtZW50byBhbnRlcmlvcm1lbnRlIGNhcmdhZG8gYWwgUmVwb3NpdG9yaW8gSW5zdGl0dWNpb25hbCBFeHBlZGl0aW8KCkV4Y2VwdHVhbmRvIHF1ZSBlbCBkb2N1bWVudG8gc2VhIGNvbmZpZGVuY2lhbCwgYXV0b3Jpem8gYSB1c3VhcmlvcyBpbnRlcm5vcyB5IGV4dGVybm9zIGRlIGxhIEluc3RpdHVjacOzbiBhIGNvbnN1bHRhciB5IHJlcHJvZHVjaXIgZWwgY29udGVuaWRvIGRlbCBkb2N1bWVudG8gcGFyYSBmaW5lcyBhY2Fkw6ltaWNvcyBudW5jYSBwYXJhIHVzb3MgY29tZXJjaWFsZXMsIGN1YW5kbyBtZWRpYW50ZSBsYSBjb3JyZXNwb25kaWVudGUgY2l0YSBiaWJsaW9ncsOhZmljYSBzZSBsZSBkZSBjcsOpZGl0byBhIGxhIG9icmEgeSBzdShzKSBhdXRvcihzKS4KCkV4Y2VwdHVhbmRvIHF1ZSBlbCBkb2N1bWVudG8gc2VhIGNvbmZpZGVuY2lhbCwgYXV0b3Jpem8gYXBsaWNhciBsYSBsaWNlbmNpYSBkZWwgZXN0w6FuZGFyIGludGVybmFjaW9uYWwgQ3JlYXRpdmUgQ29tbW9ucyAoQXR0cmlidXRpb24tTm9uQ29tbWVyY2lhbC1Ob0Rlcml2YXRpdmVzIDQuMCBJbnRlcm5hdGlvbmFsKSBxdWUgaW5kaWNhIHF1ZSBjdWFscXVpZXIgcGVyc29uYSBwdWVkZSB1c2FyIGxhIG9icmEgZGFuZG8gY3LDqWRpdG8gYWwgYXV0b3IsIHNpbiBwb2RlciBjb21lcmNpYXIgY29uIGxhIG9icmEgeSBzaW4gZ2VuZXJhciBvYnJhcyBkZXJpdmFkYXMuCgpFbCAobG9zKSBhdXRvcihlcykgY2VydGlmaWNhKG4pIHF1ZSBlbCBkb2N1bWVudG8gbm8gaW5mcmluZ2UgbmkgYXRlbnRhIGNvbnRyYSBkZXJlY2hvcyBpbmR1c3RyaWFsZXMsIHBhdHJpbW9uaWFsZXMsIGludGVsZWN0dWFsZXMsIG1vcmFsZXMgbyBjdWFscXVpZXIgb3RybyBkZSB0ZXJjZXJvcywgYXPDrSBtaXNtbyBkZWNsYXJhbiBxdWUgbGEgVW5pdmVyc2lkYWQgSm9yZ2UgVGFkZW8gTG96YW5vIHNlIGVuY3VlbnRyYSBsaWJyZSBkZSB0b2RhIHJlc3BvbnNhYmlsaWRhZCBjaXZpbCwgYWRtaW5pc3RyYXRpdmEgeS9vIHBlbmFsIHF1ZSBwdWVkYSBkZXJpdmFyc2UgZGUgbGEgcHVibGljYWNpw7NuIGRlbCB0cmFiYWpvIGRlIGdyYWRvIHkvbyB0ZXNpcyBlbiBjYWxpZGFkIGRlIGFjY2VzbyBhYmllcnRvIHBvciBjdWFscXVpZXIgbWVkaW8uCgpFbiBjdW1wbGltaWVudG8gY29uIGxvIGRpc3B1ZXN0byBlbiBsYSBMZXkgMTU4MSBkZSAyMDEyIHkgZXNwZWNpYWxtZW50ZSBlbiB2aXJ0dWQgZGUgbG8gZGlzcHVlc3RvIGVuIGVsIEFydMOtY3VsbyAxMCBkZWwgRGVjcmV0byAxMzc3IGRlIDIwMTMsIGF1dG9yaXpvIGEgbGEgVW5pdmVyc2lkYWQgSm9yZ2UgVGFkZW8gTG96YW5vIGEgcHJvY2VkZXIgY29uIGVsIHRyYXRhbWllbnRvIGRlIGxvcyBkYXRvcyBwZXJzb25hbGVzIHBhcmEgZmluZXMgYWNhZMOpbWljb3MsIGhpc3TDs3JpY29zLCBlc3RhZMOtc3RpY29zIHkgYWRtaW5pc3RyYXRpdm9zIGRlIGxhIEluc3RpdHVjacOzbi4gRGUgY29uZm9ybWlkYWQgY29uIGxvIGVzdGFibGVjaWRvIGVuIGVsIGFydMOtY3VsbyAzMCBkZSBsYSBMZXkgMjMgZGUgMTk4MiB5IGVsIGFydMOtY3VsbyAxMSBkZSBsYSBEZWNpc2nDs24gQW5kaW5hIDM1MSBkZSAxOTkzLCBhY2xhcmFtb3MgcXVlIOKAnExvcyBkZXJlY2hvcyBtb3JhbGVzIHNvYnJlIGVsIHRyYWJham8gc29uIHByb3BpZWRhZCBkZSBsb3MgYXV0b3Jlc+KAnSwgbG9zIGN1YWxlcyBzb24gaXJyZW51bmNpYWJsZXMsIGltcHJlc2NyaXB0aWJsZXMsIGluZW1iYXJnYWJsZXMgZSBpbmFsaWVuYWJsZXMuCgpDb24gZWwgcmVnaXN0cm8gZW4gbGEgcMOhZ2luYSwgYXV0b3Jpem8gZGUgbWFuZXJhIGV4cHJlc2EgYSBsYSBGVU5EQUNJw5NOIFVOSVZFUlNJREFEIERFIEJPR09Uw4EgSk9SR0UgVEFERU8gTE9aQU5PLCBlbCB0cmF0YW1pZW50byBkZSBtaXMgZGF0b3MgcGVyc29uYWxlcyBwYXJhIHByb2Nlc2FyIG8gY29uc2VydmFyLCBjb24gZmluZXMgZXN0YWTDrXN0aWNvcywgZGUgY29udHJvbCBvIHN1cGVydmlzacOzbiwgYXPDrSBjb21vIHBhcmEgZWwgZW52w61vIGRlIGluZm9ybWFjacOzbiB2w61hIGNvcnJlbyBlbGVjdHLDs25pY28sIGRlbnRybyBkZWwgbWFyY28gZXN0YWJsZWNpZG8gcG9yIGxhIExleSAxNTgxIGRlIDIwMTIgeSBzdXMgZGVjcmV0b3MgY29tcGxlbWVudGFyaW9zIHNvYnJlIFRyYXRhbWllbnRvIGRlIERhdG9zIFBlcnNvbmFsZXMuIEVuIGN1YWxxdWllciBjYXNvLCBlbnRpZW5kbyBxdWUgcG9kcsOpIGhhY2VyIHVzbyBkZWwgZGVyZWNobyBhIGNvbm9jZXIsIGFjdHVhbGl6YXIsIHJlY3RpZmljYXIgbyBzdXByaW1pciBsb3MgZGF0b3MgcGVyc29uYWxlcyBtZWRpYW50ZSBlbCBlbnbDrW8gZGUgdW5hIGNvbXVuaWNhY2nDs24gZXNjcml0YSBhbCBjb3JyZW8gZWxlY3Ryw7NuaWNvIHByb3RlY2Npb25kYXRvc0B1dGFkZW8uZWR1LmNvLgoKTGEgRlVOREFDScOTTiBVTklWRVJTSURBRCBERSBCT0dPVMOBIEpPUkdFIFRBREVPIExPWkFOTyBubyB1dGlsaXphcsOhIGxvcyBkYXRvcyBwZXJzb25hbGVzIHBhcmEgZmluZXMgZGlmZXJlbnRlcyBhIGxvcyBhbnVuY2lhZG9zIHkgZGFyw6EgdW4gdXNvIGFkZWN1YWRvIHkgcmVzcG9uc2FibGUgYSBzdXMgZGF0b3MgcGVyc29uYWxlcyBkZSBhY3VlcmRvIGNvbiBsYSBkaXJlY3RyaXogZGUgUHJvdGVjY2nDs24gZGUgRGF0b3MgUGVyc29uYWxlcyBxdWUgcG9kcsOhIGNvbnN1bHRhciBlbjogaHR0cDovL3d3dy51dGFkZW8uZWR1LmNvL2VzL2xpbmsvZGVzY3VicmUtbGEtdW5pdmVyc2lkYWQvMi9kb2N1bWVudG9zCg==