Evaluación de modelos de Machine Learning para la predicción de crímenes en la ciudad de Medellín

ilustraciones, gráficas, tablas

Autores:
Muñoz Jaramillo, Victor Daniel
Tipo de recurso:
Fecha de publicación:
2021
Institución:
Universidad Nacional de Colombia
Repositorio:
Universidad Nacional de Colombia
Idioma:
spa
OAI Identifier:
oai:repositorio.unal.edu.co:unal/80976
Acceso en línea:
https://repositorio.unal.edu.co/handle/unal/80976
https://repositorio.unal.edu.co/
Palabra clave:
000 - Ciencias de la computación, información y obras generales
300 - Ciencias sociales::304 - Factores que afectan el comportamiento social
Social problems - Medellín (Colombia)
Crimen - Medellín (Colombia)
Problemas sociales - Medellín (Colombia)
Seguridad ciudadana
Aprendizaje automático (Inteligencia artificial)
Predicción del crimen
Zonas calientes
Modelos predictivos
Predicción de crimen en Medellín
Machine learning
Crime prediction
Hotspot prediction
Predictive models
, Crime prediction in Medellin
Public safety
Rights
openAccess
License
Reconocimiento 4.0 Internacional
id UNACIONAL2_9bdfe0b654f170083881429a8f3b2d8a
oai_identifier_str oai:repositorio.unal.edu.co:unal/80976
network_acronym_str UNACIONAL2
network_name_str Universidad Nacional de Colombia
repository_id_str
dc.title.spa.fl_str_mv Evaluación de modelos de Machine Learning para la predicción de crímenes en la ciudad de Medellín
dc.title.translated.eng.fl_str_mv Machine Learning models for crime prediction in Medellin city
title Evaluación de modelos de Machine Learning para la predicción de crímenes en la ciudad de Medellín
spellingShingle Evaluación de modelos de Machine Learning para la predicción de crímenes en la ciudad de Medellín
000 - Ciencias de la computación, información y obras generales
300 - Ciencias sociales::304 - Factores que afectan el comportamiento social
Social problems - Medellín (Colombia)
Crimen - Medellín (Colombia)
Problemas sociales - Medellín (Colombia)
Seguridad ciudadana
Aprendizaje automático (Inteligencia artificial)
Predicción del crimen
Zonas calientes
Modelos predictivos
Predicción de crimen en Medellín
Machine learning
Crime prediction
Hotspot prediction
Predictive models
, Crime prediction in Medellin
Public safety
title_short Evaluación de modelos de Machine Learning para la predicción de crímenes en la ciudad de Medellín
title_full Evaluación de modelos de Machine Learning para la predicción de crímenes en la ciudad de Medellín
title_fullStr Evaluación de modelos de Machine Learning para la predicción de crímenes en la ciudad de Medellín
title_full_unstemmed Evaluación de modelos de Machine Learning para la predicción de crímenes en la ciudad de Medellín
title_sort Evaluación de modelos de Machine Learning para la predicción de crímenes en la ciudad de Medellín
dc.creator.fl_str_mv Muñoz Jaramillo, Victor Daniel
dc.contributor.advisor.none.fl_str_mv Vallejo Velásquez, Mónica Ayde
Aedo Cobo, José Edinson
dc.contributor.author.none.fl_str_mv Muñoz Jaramillo, Victor Daniel
dc.subject.ddc.spa.fl_str_mv 000 - Ciencias de la computación, información y obras generales
300 - Ciencias sociales::304 - Factores que afectan el comportamiento social
topic 000 - Ciencias de la computación, información y obras generales
300 - Ciencias sociales::304 - Factores que afectan el comportamiento social
Social problems - Medellín (Colombia)
Crimen - Medellín (Colombia)
Problemas sociales - Medellín (Colombia)
Seguridad ciudadana
Aprendizaje automático (Inteligencia artificial)
Predicción del crimen
Zonas calientes
Modelos predictivos
Predicción de crimen en Medellín
Machine learning
Crime prediction
Hotspot prediction
Predictive models
, Crime prediction in Medellin
Public safety
dc.subject.armarc.none.fl_str_mv Social problems - Medellín (Colombia)
dc.subject.lemb.none.fl_str_mv Crimen - Medellín (Colombia)
Problemas sociales - Medellín (Colombia)
Seguridad ciudadana
Aprendizaje automático (Inteligencia artificial)
dc.subject.proposal.spa.fl_str_mv Predicción del crimen
Zonas calientes
Modelos predictivos
Predicción de crimen en Medellín
dc.subject.proposal.eng.fl_str_mv Machine learning
Crime prediction
Hotspot prediction
Predictive models
, Crime prediction in Medellin
Public safety
description ilustraciones, gráficas, tablas
publishDate 2021
dc.date.issued.none.fl_str_mv 2021
dc.date.accessioned.none.fl_str_mv 2022-02-14T16:58:20Z
dc.date.available.none.fl_str_mv 2022-02-14T16:58:20Z
dc.type.spa.fl_str_mv Trabajo de grado - Maestría
dc.type.driver.spa.fl_str_mv info:eu-repo/semantics/masterThesis
dc.type.version.spa.fl_str_mv info:eu-repo/semantics/acceptedVersion
dc.type.content.spa.fl_str_mv Text
dc.type.redcol.spa.fl_str_mv http://purl.org/redcol/resource_type/TM
status_str acceptedVersion
dc.identifier.uri.none.fl_str_mv https://repositorio.unal.edu.co/handle/unal/80976
dc.identifier.instname.spa.fl_str_mv Universidad Nacional de Colombia
dc.identifier.reponame.spa.fl_str_mv Repositorio Institucional Universidad Nacional de Colombia
dc.identifier.repourl.spa.fl_str_mv https://repositorio.unal.edu.co/
url https://repositorio.unal.edu.co/handle/unal/80976
https://repositorio.unal.edu.co/
identifier_str_mv Universidad Nacional de Colombia
Repositorio Institucional Universidad Nacional de Colombia
dc.language.iso.spa.fl_str_mv spa
language spa
dc.relation.references.spa.fl_str_mv Ministerio de Defensa Nacional - Dirección de Estudios Estratégicos, “Información de criminalidad, resultados operacionales y delitos contra las propias tropas.” [En línea] https://www.mindefensa.gov.co/irj/go/km/docs/Mindefensa/Documentos/descargas/estudios sectoriales/info estadistica/Avance Politica Defensa Seguridad.xlsx [Último acceso: 2021], Agosto 2021.
P. Chapman, J. Clinton, R. Kerber, T. Khabaza, T. Reinartz, C. Shearer, and R. Wirth, CRISP-DM 1.0. SPSS Inc., 2000. Medellín cómo vamos, “Informe calidad de vida de Medellín, 2018.” [En línea] https://www.medellincomovamos.org/system/files/2020-04/docuprivados/Documento %20ICV %202018.pdf [Último acceso: 2021], 2019.
Medellín cómo vamos, “Informe calidad de vida de medellín, 2020.” [En línea] https://www.medellincomovamos.org/system/files/2021-09/docuprivados/Documento %20Informe %20de %20Calidad %20de %20Vida %20de %20Medell %C3 %ADn %202020.pdf [Último acceso: 2021], 2021.
D. Yang, T. Heaney, A. Tonon, and L. Wang, “Crimetelescope: crime hotspot prediction based on urban and social media data fusion,” World Wide Web, vol. 21(5), pp. 1323–1347, 2017.
M. W. Yu, C.and Ward, M. Morabito, and W. Ding, “Crime forecasting using data mining techniques,” 2011 IEEE 11th International Conference on Data Mining Workshops, 2011.
Y. Zhuang, M. Almedida, M. Morabito, and W. Ding, “Crime hot spot forecasting: A recurrent model with spatial and temporal information,” 2017 IEEE International Conference on Big Knowledge (ICBK), pp. 143–150, 2017.
A. Araujo, N. Cacho, L. Bezerra, C. Vieira, and J. Borges, “Towards a crime hotspot detection framework for patrol planning,” 2018 IEEE 20th International Conference on High Performance Computing and Communications, 2018.
A. Rummens, W. Hardyns, and L. Pauwels, “The use of predictive analysis in spatio-temporal crime forecasting: Building and testing a model in an urban context,” Applied Geography, vol. 86, pp. 255–261, 2017.
Y. L. Lin, M. F. Yen, and L. C. Yu, “Grid-based crime prediction using geographical features,” ISPRS International Journal of Geo-Information, vol. 7, p. 298, 2018.
J. Borges, “Time-series features for predictive policing,” 2018 IEEE International Smart Cities Conference (ISC2), pp. 1–8, 2018.
C. Kadar and I. Pletikosa, “Mining large-scale human mobility data for long-term crime prediction,” EPJ Data Sci, vol. 7, p. 26, 2018.
S. K. Dash, I. Safro, and R. S. Srinivasamurthy, “Spatio-temporal prediction of crimes using network analytic approach,” 2018 IEEE International Conference on Big Data, 2018.
G. L. Shoesmith, “Space–time autoregressive models and forecasting national, regional and state crime rates,” International Journal of Forecasting, volume=29, year=2013, pages=191–201, doi = 10.1016/j.ijforecast.2012.08 .
O. Kounadi, A. Araujo, and M. Leitner, “A systematic review on spatial crime forecasting,” Crime Sci, vol. 9, 2020.
Arias Sevilla, P., “Pirámide de maslow.” [En línea] https://economipedia.com/definiciones/piramide-de-maslow.html [Último acceso: 2021], 25 Febrero 2015.
OECD, “Better life index, security.” [En línea] https://www.oecdbetterlifeindex.org/topics/safety/ [Último acceso: 2021].
PNUD, “Sinpsis: Seguridad ciudadana.” [En línea] https://www1.undp.org/content/undp/es/home/ librarypage/crisis-prevention-and-recovery/IssueBriefCitizenSecurity.html [ ́Ultimo acceso: 2021], 15 Abril 2014.
Ministerio de Defensa Nacional, “Marco de convivencia y seguridad ciudadana.” [En línea] https://www.mininterior.gov.co/sites/default/files/politica marco de convivencia y seguridad ciudadana.pdf [Último acceso: 2021], 2019.
Ministerio de Salud y Protección Social Colombia, “Política nacional de salud mental - resolución 4886 de 2018.” [En línea] https://www.minsalud.gov.co/sites/rid/Lists/BibliotecaDigital/RIDE/VS/PP/politica-nacional-salud-mental.pdf [Último acceso: 2021], 2018.
Congreso de la República, “Ley 599 de 2000 código penal colombiano.” [En línea] http://www.secretariasenado.gov.co/senado/basedoc/ley 0599 2000.html [Último acceso: 2021], 2000
S. Quintero, “Citizen security and community participation in latin america,” Revista Científica General José María Córdoba, vol. 18, pp. 5–24, 2020.
J. Laufs and et al., “Security and the smart city: A systematic review,” Sustainable Cities and Society, vol. 55, 2020.
A. Ramaprasad, A. Sanchez-Ortiz, and T. Syn, “A unified definition of a smart city,” International Conference on Electronic Government, 2017.
R. W. Siegfried, “A unified definition of a smart city,” Cities, vol. 81, pp. 1–23, 2018.
M. Bourmpos, A. Argyris, and D. Syvridis, “Smart city surveillance through low-cost fiber sensors in metropolitan optical networks.,” Fiber and Integrated Optics, vol. 33, pp. 205–223, 2014.
Alcaldía de Medellín, “Sistema de información para la seguridad y convivencia - sisc.” [En línea] https://www.medellin.gov.co/irj/portal/medellin?NavigationTarget=contenido/8148-Sistema-de-Informacion-para-la-Seguridad-y-Convivencia—SISC [́Ultimo acceso: 2021], 2014.
Alcaldía de Medellín, “Cámaras de cctv.” [En línea] https://www.medellin.gov.co/simm/camaras-de-circuito-cerrado [Último acceso: 2021], 2013.
Policía Nacional de Colombia, “Audiencia pública de rendición de cuentas 2019.” [En línea] https://www.policia.gov.co/sites/default/files/descargables/informe audiencia rendición de cuentas-vig-2019.pdf [Último acceso: 2021], 2020.
Policía Nacional de Colombia, “Tepillé.” [En línea] https://tepilleapp.com/ [Último acceso: 2021].
Real Academia Española, “Delito.” [En línea] https://dle.rae.es/delito?m=form [Último acceso: 2021].
Real Academia Española, “Crimen.” [En línea] https://dle.rae.es/crimen?m=form [Último acceso: 2021].
Real Academia Española, “Hurto.” [En línea] https://dle.rae.es/hurto?m=form [Último acceso: 2021].
Real Academia Española, “Robo.” [En línea] https://dle.rae.es/robo?m=form [Último acceso: 2021].
Policía de Puerto Rico, Manual de Información Uniforme de Datos del Crimen. 2006.
DANE, “Encuesta de convivencia y seguridad ciudadana.” [En línea] http://microdatos.dane.gov.co/index.php/catalog/574/datafile/F20/V642 [Último acceso: 2021], 2013.
C. M. Bishop, Pattern Recognition and Machine Learning. New York: Springer Science+Business Media, 2006.
A. Samuel, “Some studies in machine learning using the game of checkers,” IBM Journal of Research and Development, vol. 3, pp. 210–229, 1959.
A. Geron, Hands-on Machine Learning with Scikit-Learn, Keras, and Tensorflow - Concepts, Tools, and Techniques to Build Intelligent Systems. Sebastopol: O’Reilly, 2019.
T. Hastie, R. Tibshirani, and J. Friedman, The Elements of Statistical Learning: Data Mining, Inference, and Prediction. New York: Springer, 2 ed., 2003.
C. J. C. Burges, “A tutorial on support vector machines for pattern recognition,” Data Mining and Knowledge Discovery, vol. 2, pp. 121–167, 1998.
FAYRIX, “Selección de métricas para aprendizaje automático.” [En línea] https://fayrix.com/machine-learning-metrics es [Último acceso: 2021].
P. Gupta and N. K. Sehgal, Introduction to Machine Learning in the Cloude with Python: Concepts and Practice. Cham, Switzerland: Springer International Publishing, 2021.
Z. Somogyi, The Application of Artificial Intelligence: Step-by-Step Guide from Beginner to Expert. Cham, Switzerland: Springer, 2021.
J. Browniee, “Train-test split for evaluating machine learning algorithms.” [En línea] https://machinelearningmastery.com/train-test-split-for-evaluating-machine-learning-algorithms/ [Último acceso: 2021], 24 Julio 2020.
J. Browniee, Machine Learning Algorithms from Scratch: with Python. Machine Learning Mastery, 2016.
J. Browniee, “A gentle introduction to k-fold cross-validation.” [En línea] https://machinelearningmastery.com/k-fold-cross-validation/ [Último acceso: 2021], 23 Mayo 2018.
J. Browniee, “Nested cross-validation for machine learning with python.” [En línea] https://machinelearningmastery.com/nested-cross-validation-for-machine-learning-with-python/ [Último acceso: 2021], 29 Julio 2020.
S. Raschka and V. Mirjalili, Python Machine Learning: Machine Learning and Deep Learning with Python, scikit-learn, and TensorFlow 2, 3rd Edition. Packt Publishing, 2019.
T. Lin, Y. Xie, A. Wasilewska, and C. Liau, Data Mining: Foundations and Practice. Studies in Computational Intelligence, Springer Berlin Heidelberg, 2008.
D. Larose, Data Mining and Predictive Analytics. Wiley Series on Methods and Applications in Data Mining, Wiley, 2015.
D. Olson and D. Delen, Advanced Data Mining Techniques. Springer Berlin Heidelberg,2008.
P. J. Brantingham and B. P. L, Patterns in Crime. New York: Macmillan, 1984.
J. Tiihinen, P. Halonen, L. Tiihonen, K. H., M. Storvik, and J. Callaway, “The association of ambient temperature and violent crime,” Sci Rep, 2017.
P. Butke and S. Sherida, “An analysis of the relationship between weather and aggressive crime in cleveland, ohio,” Weather, Climate and Society, vol. 2, pp. 127–139, 2010.
L. Alves, H. Ribeiro, and F. Rodrigues, “Crime prediction through urban metrics and statistical learning,” Physica A: Statistical Mechanisc and its Applications, vol. 505, pp. 435–443, 2018.
M. Andresen and N. Malleson, “Intra-week spatial-temporal patterns of crime,” Crime Sci, vol. 3, 2015.
M. Williams, P. Burnap, and L. Sloan, “Crime sensing with big data: The affordances and limitations of using open-source communications to estimate crime patters,” The British Journal of Criminology, vol. 57, pp. 320–340, 2017.
A. A. Biswas and S. Basak, “Forecasting the trends and patterns of crime in bangladesh using machine learning model,” in 2nd International Conference on Intelligent Comunication and Computational Techniques (ICCT), 2019.
A. Bogomolov, B. Lepri, J. Staiano, F. Oliver, N. Pianesi, and A. Pentland, “Once upon a crime: Towards crime prediction from demographics and mobile data,” in Poceedings of the 16th International Conference on Multimodal Interaction ICMI.
A. A. Junior, N. Cacho, A. C. Thome, A. Medeiros, and J. Borges, “A predictive policing application to support patrol planning in smart cities,” in International Smart Cities Conference (ISC2), 2017.
Secretaria de Seguridad de Bogotá, “Secretaría seguridad Bogotá - diseño y validación de modelos de analítica predictiva de fenómenos de seguridad y convivencia para la toma de decisiones en Bogotá.” [En línea] https://www.facebook.com/secretariadeseguridadbogota/videos/2683121515289433/?t=8. [Último acceso: 2021], 2020.
Alcaldía de Medellín, “Epm desarrolla el sistema de información para análisis de entorno consumiendo datos públicos del portal medata.” [En línea] http://medata.gov.co/historia/epm-desarrolla-el-sistema-de-informaci ́on-para-análisis-de-entorno-consumiendo-datos. [Último acceso: 2021], 2018.
V. Munoz, M. Vallejo, and J. E. Aedo, “Machine learning models for predicting crime hotspots in medellin city,” in 2021 2nd Sustainable Cities Latin America Conference (SCLA), 2021.
Secretaría de Seguridad y convivencia - Sistema de Información para la Seguridad y la Convivencia SISC, “Hurto a persona.” [En línea] http://medata.gov.co/dataset/hurto-persona [Último acceso: 2021], 2020.
Pydata, “pandas.” [En línea] https://pandas.pydata.org/ [Último acceso: 2021].
Alcaldía de Medellín, “Límite catastral de comunas y corregimientos.” [En línea] https://geomedellin-m-medellin.opendata.arcgis.com/datasets/283d1d14584641c9971edbd2f695e502 6 [Último acceso: 2021].
Departamento Administrativo Nacional de Estadísticas, “Información histórica del mercado laboral.” [En línea] https://www.dane.gov.co/index.php/estadisticas-por-tema/mercado-laboral/empleo-y-desempleo/mercado-laboral-historicos [Último acceso: 2021], 2021.
SIATA, “Generalidades de la información red meteorológica y pluviométrica del valle de Aburrá.” [En línea] https://siata.gov.co/descargasiata/index.php/info/pluviomet/ [Último acceso: 2021].
Área Metropolitana del Valle de Aburrá, “Preparémonos para el inicio de la primera temporada de lluvias de 2019.” [En línea] https://www.metropol.gov.co/Paginas/Noticias/preparemonos-para-el-inicio-de-la-primera-temporada-de-lluvias-de-2019.aspx [ ́Ultimo acceso: 2021], 2019.
D. Wang, W. Ding, H. Lo, T. Stepinski, J. Salazar, and M. Morabito, “Crime hotspot mapping using the crime related factors—a spatial data mining approach,” Applied Intelligence, vol. 39(4), p. 772–781, 2012.
V. Munoz, M. Vallejo, and J. E. Aedo, “Exploratory analysis of crime behavior in the city of medellin,” in 2021 2nd Sustainable Cities Latin America Conference (SCLA), 2021.
J. Browniee, “A gentle introduction to imbalanced classification.” [En línea] https://machinelearningmastery.com/what-is-imbalanced-classification/ [ ́Ultimo acceso: 2021], 23 Diciembre 2019.
Scikit-Learn, “Logistic regression classifier.” [En l ́ınea] https://scikit-learn.org/stable/modules/generated/sklearn.linearmodel.LogisticRegression.html [Último acceso: 2021].
Scikit-Learn, “Random forest classifie.” [En línea] https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.RandomForestClassifier.html [Último acceso: 2021].
Scikit-Learn, “C-support vector classification.” [En línea] https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVC.html [Último acceso: 2021
dc.rights.coar.fl_str_mv http://purl.org/coar/access_right/c_abf2
dc.rights.license.spa.fl_str_mv Reconocimiento 4.0 Internacional
dc.rights.uri.spa.fl_str_mv http://creativecommons.org/licenses/by/4.0/
dc.rights.accessrights.spa.fl_str_mv info:eu-repo/semantics/openAccess
rights_invalid_str_mv Reconocimiento 4.0 Internacional
http://creativecommons.org/licenses/by/4.0/
http://purl.org/coar/access_right/c_abf2
eu_rights_str_mv openAccess
dc.format.extent.spa.fl_str_mv xiii, 68 páginas
dc.format.mimetype.spa.fl_str_mv application/pdf
dc.publisher.spa.fl_str_mv Universidad Nacional de Colombia
dc.publisher.program.spa.fl_str_mv Medellín - Minas - Maestría en Ingeniería - Analítica
dc.publisher.department.spa.fl_str_mv Departamento de la Computación y la Decisión
dc.publisher.faculty.spa.fl_str_mv Facultad de Minas
dc.publisher.place.spa.fl_str_mv Medellín, Colombia
dc.publisher.branch.spa.fl_str_mv Universidad Nacional de Colombia - Sede Medellín
institution Universidad Nacional de Colombia
bitstream.url.fl_str_mv https://repositorio.unal.edu.co/bitstream/unal/80976/1/1037649240.2021.pdf
https://repositorio.unal.edu.co/bitstream/unal/80976/2/license.txt
https://repositorio.unal.edu.co/bitstream/unal/80976/3/1037649240.2021.pdf.jpg
bitstream.checksum.fl_str_mv 16e98b0ba30a327cea6f7f7b70ee897e
8153f7789df02f0a4c9e079953658ab2
8d75fc3a3701ebea39b0ca91d1cd6450
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
repository.name.fl_str_mv Repositorio Institucional Universidad Nacional de Colombia
repository.mail.fl_str_mv repositorio_nal@unal.edu.co
_version_ 1814089693380214784
spelling Reconocimiento 4.0 Internacionalhttp://creativecommons.org/licenses/by/4.0/info:eu-repo/semantics/openAccesshttp://purl.org/coar/access_right/c_abf2Vallejo Velásquez, Mónica Ayde616f450fd36811e3c455b36f99bc9803600Aedo Cobo, José Edinson9e1720d92c1442978ab211dcd24bfe11600Muñoz Jaramillo, Victor Danielb1110f7715021471a527b1e8b1e739246002022-02-14T16:58:20Z2022-02-14T16:58:20Z2021https://repositorio.unal.edu.co/handle/unal/80976Universidad Nacional de ColombiaRepositorio Institucional Universidad Nacional de Colombiahttps://repositorio.unal.edu.co/ilustraciones, gráficas, tablasLa seguridad ciudadana se ha convertido en una de las principales preocupaciones de los gobiernos dada su relación directa con la calidad de vida de las personas, el crecimientos económico y el desarrollo de las regiones. Por su parte, el crimen se ha constituido como uno de los principales factores que afecta la seguridad, y para combatirlo, los gobiernos han asignado una cantidad de recursos que se podrían utilizar para proyectos de inversión como los de infraestructura. Históricamente el enforque de las estrategias de las autoridades locales se ha centrado en respuestas reactivas como la captura de los delincuentes, no obstante, recientemente se ha reconocido la necesidad de desarrollar estrategias preventivas de vigilancia y control de los espacios públicos, mediante el uso de tecnologías de aprendizaje automático (Machine Learning). Por esta razón, con el fin de colaborar con las estrategias de las autoridades para la gestión de los recursos, en esta tesis de maestría se realiza la evaluación de tres modelos de Machine Learning para la predicción del crimen en la ciudad de Medellín: un clasificador de bosques aleatorios, un modelo de regresión logística y una máquina de vectores de soporte (SVM, de sus siglas en inglés support vector machine). La metodología implementada integra el resultado de estudios anteriores con el proceso estándar de la industria para la minería de datos (CRISP-DM, de sus siglas en inglés Cross Industry Standard Process for Data Mining) como una estrategia general de resolución de problemas de la unidad de estudio. Como parte de la metodología, inicialmente se realiza un entendimiento y descripción de diferentes fuentes de información disponibles en la ciudad de Medellín. Luego, a partir de la identificación de los datos, su preparación y análisis, se formulan los modelos para la predicción de zonas calientes con información histórica del número de incidentes e información de la tasa de desempleo en la ciudad. Específicamente los modelos se construyen para la predicción del hurto a personas en las modalidades de atraco, descuido, cosquilleo y raponazo. Finalmente, el desempeño de los tres modelos se compara contra un modelo basado en reglas, y se evalúan en términos de la exactitud, exhaustividad/sensibilidad (recall), precisión y el valor F1. (Texto tomado de la fuente)Public safety is one of the main concerns of governments, given its direct relationship with people’s wellbeing, economic growth, and the development of the regions. For its part, crime has been detected as one of the main factors that affect the feeling of security, assigning it a considerable percentage of government resources to combat it. Historically, national authorities’ strategies have focused on reactive responses such as the capture of criminals, however, the need to develop preventive strategies for surveillance and control of public spaces has been recently recognized. For this reason, in order to improve the strategies currently used by the authorities for resource management, this master’s thesis evaluates three Machine Learning Models: a random forest classifier, a logistic regression model, and a support vector machine (SVM), for the prediction of crime in the city of Medellin. The proposed methodology integrates previous studies that have been conducted in other regions with the Cross Industry Standard Process for Data Mining (CRISP-DM) as a general strategy for problem solving of the unit of study. As part of the methodology, it begins with the understanding and description of the available information in the city of Medellin. Then, from the identification of the data, its preparation, and analysis, the Machine Learning models are formulated for the prediction of crime hotspots, using the information about historical incidents and the unemployment rate. Finally, the performance of the 3 models is evaluated in terms of accuracy, recall, precision, and F1 score, and each of the models is compared with the result obtained by using a base model built on rules that the authorities could establish.MaestríaMagíster en Ingeniería - AnalíticaÁrea Curricular de Ingeniería de Sistemas e Informáticaxiii, 68 páginasapplication/pdfspaUniversidad Nacional de ColombiaMedellín - Minas - Maestría en Ingeniería - AnalíticaDepartamento de la Computación y la DecisiónFacultad de MinasMedellín, ColombiaUniversidad Nacional de Colombia - Sede Medellín000 - Ciencias de la computación, información y obras generales300 - Ciencias sociales::304 - Factores que afectan el comportamiento socialSocial problems - Medellín (Colombia)Crimen - Medellín (Colombia)Problemas sociales - Medellín (Colombia)Seguridad ciudadanaAprendizaje automático (Inteligencia artificial)Predicción del crimenZonas calientesModelos predictivosPredicción de crimen en MedellínMachine learningCrime predictionHotspot predictionPredictive models, Crime prediction in MedellinPublic safetyEvaluación de modelos de Machine Learning para la predicción de crímenes en la ciudad de MedellínMachine Learning models for crime prediction in Medellin cityTrabajo de grado - Maestríainfo:eu-repo/semantics/masterThesisinfo:eu-repo/semantics/acceptedVersionTexthttp://purl.org/redcol/resource_type/TMMinisterio de Defensa Nacional - Dirección de Estudios Estratégicos, “Información de criminalidad, resultados operacionales y delitos contra las propias tropas.” [En línea] https://www.mindefensa.gov.co/irj/go/km/docs/Mindefensa/Documentos/descargas/estudios sectoriales/info estadistica/Avance Politica Defensa Seguridad.xlsx [Último acceso: 2021], Agosto 2021.P. Chapman, J. Clinton, R. Kerber, T. Khabaza, T. Reinartz, C. Shearer, and R. Wirth, CRISP-DM 1.0. SPSS Inc., 2000. Medellín cómo vamos, “Informe calidad de vida de Medellín, 2018.” [En línea] https://www.medellincomovamos.org/system/files/2020-04/docuprivados/Documento %20ICV %202018.pdf [Último acceso: 2021], 2019.Medellín cómo vamos, “Informe calidad de vida de medellín, 2020.” [En línea] https://www.medellincomovamos.org/system/files/2021-09/docuprivados/Documento %20Informe %20de %20Calidad %20de %20Vida %20de %20Medell %C3 %ADn %202020.pdf [Último acceso: 2021], 2021.D. Yang, T. Heaney, A. Tonon, and L. Wang, “Crimetelescope: crime hotspot prediction based on urban and social media data fusion,” World Wide Web, vol. 21(5), pp. 1323–1347, 2017.M. W. Yu, C.and Ward, M. Morabito, and W. Ding, “Crime forecasting using data mining techniques,” 2011 IEEE 11th International Conference on Data Mining Workshops, 2011.Y. Zhuang, M. Almedida, M. Morabito, and W. Ding, “Crime hot spot forecasting: A recurrent model with spatial and temporal information,” 2017 IEEE International Conference on Big Knowledge (ICBK), pp. 143–150, 2017.A. Araujo, N. Cacho, L. Bezerra, C. Vieira, and J. Borges, “Towards a crime hotspot detection framework for patrol planning,” 2018 IEEE 20th International Conference on High Performance Computing and Communications, 2018.A. Rummens, W. Hardyns, and L. Pauwels, “The use of predictive analysis in spatio-temporal crime forecasting: Building and testing a model in an urban context,” Applied Geography, vol. 86, pp. 255–261, 2017.Y. L. Lin, M. F. Yen, and L. C. Yu, “Grid-based crime prediction using geographical features,” ISPRS International Journal of Geo-Information, vol. 7, p. 298, 2018.J. Borges, “Time-series features for predictive policing,” 2018 IEEE International Smart Cities Conference (ISC2), pp. 1–8, 2018.C. Kadar and I. Pletikosa, “Mining large-scale human mobility data for long-term crime prediction,” EPJ Data Sci, vol. 7, p. 26, 2018.S. K. Dash, I. Safro, and R. S. Srinivasamurthy, “Spatio-temporal prediction of crimes using network analytic approach,” 2018 IEEE International Conference on Big Data, 2018.G. L. Shoesmith, “Space–time autoregressive models and forecasting national, regional and state crime rates,” International Journal of Forecasting, volume=29, year=2013, pages=191–201, doi = 10.1016/j.ijforecast.2012.08 .O. Kounadi, A. Araujo, and M. Leitner, “A systematic review on spatial crime forecasting,” Crime Sci, vol. 9, 2020.Arias Sevilla, P., “Pirámide de maslow.” [En línea] https://economipedia.com/definiciones/piramide-de-maslow.html [Último acceso: 2021], 25 Febrero 2015.OECD, “Better life index, security.” [En línea] https://www.oecdbetterlifeindex.org/topics/safety/ [Último acceso: 2021].PNUD, “Sinpsis: Seguridad ciudadana.” [En línea] https://www1.undp.org/content/undp/es/home/ librarypage/crisis-prevention-and-recovery/IssueBriefCitizenSecurity.html [ ́Ultimo acceso: 2021], 15 Abril 2014.Ministerio de Defensa Nacional, “Marco de convivencia y seguridad ciudadana.” [En línea] https://www.mininterior.gov.co/sites/default/files/politica marco de convivencia y seguridad ciudadana.pdf [Último acceso: 2021], 2019.Ministerio de Salud y Protección Social Colombia, “Política nacional de salud mental - resolución 4886 de 2018.” [En línea] https://www.minsalud.gov.co/sites/rid/Lists/BibliotecaDigital/RIDE/VS/PP/politica-nacional-salud-mental.pdf [Último acceso: 2021], 2018.Congreso de la República, “Ley 599 de 2000 código penal colombiano.” [En línea] http://www.secretariasenado.gov.co/senado/basedoc/ley 0599 2000.html [Último acceso: 2021], 2000S. Quintero, “Citizen security and community participation in latin america,” Revista Científica General José María Córdoba, vol. 18, pp. 5–24, 2020.J. Laufs and et al., “Security and the smart city: A systematic review,” Sustainable Cities and Society, vol. 55, 2020.A. Ramaprasad, A. Sanchez-Ortiz, and T. Syn, “A unified definition of a smart city,” International Conference on Electronic Government, 2017.R. W. Siegfried, “A unified definition of a smart city,” Cities, vol. 81, pp. 1–23, 2018.M. Bourmpos, A. Argyris, and D. Syvridis, “Smart city surveillance through low-cost fiber sensors in metropolitan optical networks.,” Fiber and Integrated Optics, vol. 33, pp. 205–223, 2014.Alcaldía de Medellín, “Sistema de información para la seguridad y convivencia - sisc.” [En línea] https://www.medellin.gov.co/irj/portal/medellin?NavigationTarget=contenido/8148-Sistema-de-Informacion-para-la-Seguridad-y-Convivencia—SISC [́Ultimo acceso: 2021], 2014.Alcaldía de Medellín, “Cámaras de cctv.” [En línea] https://www.medellin.gov.co/simm/camaras-de-circuito-cerrado [Último acceso: 2021], 2013.Policía Nacional de Colombia, “Audiencia pública de rendición de cuentas 2019.” [En línea] https://www.policia.gov.co/sites/default/files/descargables/informe audiencia rendición de cuentas-vig-2019.pdf [Último acceso: 2021], 2020.Policía Nacional de Colombia, “Tepillé.” [En línea] https://tepilleapp.com/ [Último acceso: 2021].Real Academia Española, “Delito.” [En línea] https://dle.rae.es/delito?m=form [Último acceso: 2021].Real Academia Española, “Crimen.” [En línea] https://dle.rae.es/crimen?m=form [Último acceso: 2021].Real Academia Española, “Hurto.” [En línea] https://dle.rae.es/hurto?m=form [Último acceso: 2021].Real Academia Española, “Robo.” [En línea] https://dle.rae.es/robo?m=form [Último acceso: 2021].Policía de Puerto Rico, Manual de Información Uniforme de Datos del Crimen. 2006.DANE, “Encuesta de convivencia y seguridad ciudadana.” [En línea] http://microdatos.dane.gov.co/index.php/catalog/574/datafile/F20/V642 [Último acceso: 2021], 2013.C. M. Bishop, Pattern Recognition and Machine Learning. New York: Springer Science+Business Media, 2006.A. Samuel, “Some studies in machine learning using the game of checkers,” IBM Journal of Research and Development, vol. 3, pp. 210–229, 1959.A. Geron, Hands-on Machine Learning with Scikit-Learn, Keras, and Tensorflow - Concepts, Tools, and Techniques to Build Intelligent Systems. Sebastopol: O’Reilly, 2019.T. Hastie, R. Tibshirani, and J. Friedman, The Elements of Statistical Learning: Data Mining, Inference, and Prediction. New York: Springer, 2 ed., 2003.C. J. C. Burges, “A tutorial on support vector machines for pattern recognition,” Data Mining and Knowledge Discovery, vol. 2, pp. 121–167, 1998.FAYRIX, “Selección de métricas para aprendizaje automático.” [En línea] https://fayrix.com/machine-learning-metrics es [Último acceso: 2021].P. Gupta and N. K. Sehgal, Introduction to Machine Learning in the Cloude with Python: Concepts and Practice. Cham, Switzerland: Springer International Publishing, 2021.Z. Somogyi, The Application of Artificial Intelligence: Step-by-Step Guide from Beginner to Expert. Cham, Switzerland: Springer, 2021.J. Browniee, “Train-test split for evaluating machine learning algorithms.” [En línea] https://machinelearningmastery.com/train-test-split-for-evaluating-machine-learning-algorithms/ [Último acceso: 2021], 24 Julio 2020.J. Browniee, Machine Learning Algorithms from Scratch: with Python. Machine Learning Mastery, 2016.J. Browniee, “A gentle introduction to k-fold cross-validation.” [En línea] https://machinelearningmastery.com/k-fold-cross-validation/ [Último acceso: 2021], 23 Mayo 2018.J. Browniee, “Nested cross-validation for machine learning with python.” [En línea] https://machinelearningmastery.com/nested-cross-validation-for-machine-learning-with-python/ [Último acceso: 2021], 29 Julio 2020.S. Raschka and V. Mirjalili, Python Machine Learning: Machine Learning and Deep Learning with Python, scikit-learn, and TensorFlow 2, 3rd Edition. Packt Publishing, 2019.T. Lin, Y. Xie, A. Wasilewska, and C. Liau, Data Mining: Foundations and Practice. Studies in Computational Intelligence, Springer Berlin Heidelberg, 2008.D. Larose, Data Mining and Predictive Analytics. Wiley Series on Methods and Applications in Data Mining, Wiley, 2015.D. Olson and D. Delen, Advanced Data Mining Techniques. Springer Berlin Heidelberg,2008.P. J. Brantingham and B. P. L, Patterns in Crime. New York: Macmillan, 1984.J. Tiihinen, P. Halonen, L. Tiihonen, K. H., M. Storvik, and J. Callaway, “The association of ambient temperature and violent crime,” Sci Rep, 2017.P. Butke and S. Sherida, “An analysis of the relationship between weather and aggressive crime in cleveland, ohio,” Weather, Climate and Society, vol. 2, pp. 127–139, 2010.L. Alves, H. Ribeiro, and F. Rodrigues, “Crime prediction through urban metrics and statistical learning,” Physica A: Statistical Mechanisc and its Applications, vol. 505, pp. 435–443, 2018.M. Andresen and N. Malleson, “Intra-week spatial-temporal patterns of crime,” Crime Sci, vol. 3, 2015.M. Williams, P. Burnap, and L. Sloan, “Crime sensing with big data: The affordances and limitations of using open-source communications to estimate crime patters,” The British Journal of Criminology, vol. 57, pp. 320–340, 2017.A. A. Biswas and S. Basak, “Forecasting the trends and patterns of crime in bangladesh using machine learning model,” in 2nd International Conference on Intelligent Comunication and Computational Techniques (ICCT), 2019.A. Bogomolov, B. Lepri, J. Staiano, F. Oliver, N. Pianesi, and A. Pentland, “Once upon a crime: Towards crime prediction from demographics and mobile data,” in Poceedings of the 16th International Conference on Multimodal Interaction ICMI.A. A. Junior, N. Cacho, A. C. Thome, A. Medeiros, and J. Borges, “A predictive policing application to support patrol planning in smart cities,” in International Smart Cities Conference (ISC2), 2017.Secretaria de Seguridad de Bogotá, “Secretaría seguridad Bogotá - diseño y validación de modelos de analítica predictiva de fenómenos de seguridad y convivencia para la toma de decisiones en Bogotá.” [En línea] https://www.facebook.com/secretariadeseguridadbogota/videos/2683121515289433/?t=8. [Último acceso: 2021], 2020.Alcaldía de Medellín, “Epm desarrolla el sistema de información para análisis de entorno consumiendo datos públicos del portal medata.” [En línea] http://medata.gov.co/historia/epm-desarrolla-el-sistema-de-informaci ́on-para-análisis-de-entorno-consumiendo-datos. [Último acceso: 2021], 2018.V. Munoz, M. Vallejo, and J. E. Aedo, “Machine learning models for predicting crime hotspots in medellin city,” in 2021 2nd Sustainable Cities Latin America Conference (SCLA), 2021.Secretaría de Seguridad y convivencia - Sistema de Información para la Seguridad y la Convivencia SISC, “Hurto a persona.” [En línea] http://medata.gov.co/dataset/hurto-persona [Último acceso: 2021], 2020.Pydata, “pandas.” [En línea] https://pandas.pydata.org/ [Último acceso: 2021].Alcaldía de Medellín, “Límite catastral de comunas y corregimientos.” [En línea] https://geomedellin-m-medellin.opendata.arcgis.com/datasets/283d1d14584641c9971edbd2f695e502 6 [Último acceso: 2021].Departamento Administrativo Nacional de Estadísticas, “Información histórica del mercado laboral.” [En línea] https://www.dane.gov.co/index.php/estadisticas-por-tema/mercado-laboral/empleo-y-desempleo/mercado-laboral-historicos [Último acceso: 2021], 2021.SIATA, “Generalidades de la información red meteorológica y pluviométrica del valle de Aburrá.” [En línea] https://siata.gov.co/descargasiata/index.php/info/pluviomet/ [Último acceso: 2021].Área Metropolitana del Valle de Aburrá, “Preparémonos para el inicio de la primera temporada de lluvias de 2019.” [En línea] https://www.metropol.gov.co/Paginas/Noticias/preparemonos-para-el-inicio-de-la-primera-temporada-de-lluvias-de-2019.aspx [ ́Ultimo acceso: 2021], 2019.D. Wang, W. Ding, H. Lo, T. Stepinski, J. Salazar, and M. Morabito, “Crime hotspot mapping using the crime related factors—a spatial data mining approach,” Applied Intelligence, vol. 39(4), p. 772–781, 2012.V. Munoz, M. Vallejo, and J. E. Aedo, “Exploratory analysis of crime behavior in the city of medellin,” in 2021 2nd Sustainable Cities Latin America Conference (SCLA), 2021.J. Browniee, “A gentle introduction to imbalanced classification.” [En línea] https://machinelearningmastery.com/what-is-imbalanced-classification/ [ ́Ultimo acceso: 2021], 23 Diciembre 2019.Scikit-Learn, “Logistic regression classifier.” [En l ́ınea] https://scikit-learn.org/stable/modules/generated/sklearn.linearmodel.LogisticRegression.html [Último acceso: 2021].Scikit-Learn, “Random forest classifie.” [En línea] https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.RandomForestClassifier.html [Último acceso: 2021].Scikit-Learn, “C-support vector classification.” [En línea] https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVC.html [Último acceso: 2021EstudiantesInvestigadoresORIGINAL1037649240.2021.pdf1037649240.2021.pdfTesis de Maestría en Ingeniería - Analíticaapplication/pdf4350910https://repositorio.unal.edu.co/bitstream/unal/80976/1/1037649240.2021.pdf16e98b0ba30a327cea6f7f7b70ee897eMD51LICENSElicense.txtlicense.txttext/plain; charset=utf-84074https://repositorio.unal.edu.co/bitstream/unal/80976/2/license.txt8153f7789df02f0a4c9e079953658ab2MD52THUMBNAIL1037649240.2021.pdf.jpg1037649240.2021.pdf.jpgGenerated Thumbnailimage/jpeg4760https://repositorio.unal.edu.co/bitstream/unal/80976/3/1037649240.2021.pdf.jpg8d75fc3a3701ebea39b0ca91d1cd6450MD53unal/80976oai:repositorio.unal.edu.co:unal/809762024-08-03 23:09:53.052Repositorio Institucional Universidad Nacional de Colombiarepositorio_nal@unal.edu.coUExBTlRJTExBIERFUMOTU0lUTwoKQ29tbyBlZGl0b3IgZGUgZXN0ZSDDrXRlbSwgdXN0ZWQgcHVlZGUgbW92ZXJsbyBhIHJldmlzacOzbiBzaW4gYW50ZXMgcmVzb2x2ZXIgbG9zIHByb2JsZW1hcyBpZGVudGlmaWNhZG9zLCBkZSBsbyBjb250cmFyaW8sIGhhZ2EgY2xpYyBlbiBHdWFyZGFyIHBhcmEgZ3VhcmRhciBlbCDDrXRlbSB5IHNvbHVjaW9uYXIgZXN0b3MgcHJvYmxlbWFzIG1hcyB0YXJkZS4KClBhcmEgdHJhYmFqb3MgZGVwb3NpdGFkb3MgcG9yIHN1IHByb3BpbyBhdXRvcjoKIApBbCBhdXRvYXJjaGl2YXIgZXN0ZSBncnVwbyBkZSBhcmNoaXZvcyBkaWdpdGFsZXMgeSBzdXMgbWV0YWRhdG9zLCB5byBnYXJhbnRpem8gYWwgUmVwb3NpdG9yaW8gSW5zdGl0dWNpb25hbCBVbmFsIGVsIGRlcmVjaG8gYSBhbG1hY2VuYXJsb3MgeSBtYW50ZW5lcmxvcyBkaXNwb25pYmxlcyBlbiBsw61uZWEgZGUgbWFuZXJhIGdyYXR1aXRhLiBEZWNsYXJvIHF1ZSBsYSBvYnJhIGVzIGRlIG1pIHByb3BpZWRhZCBpbnRlbGVjdHVhbCB5IHF1ZSBlbCBSZXBvc2l0b3JpbyBJbnN0aXR1Y2lvbmFsIFVuYWwgbm8gYXN1bWUgbmluZ3VuYSByZXNwb25zYWJpbGlkYWQgc2kgaGF5IGFsZ3VuYSB2aW9sYWNpw7NuIGEgbG9zIGRlcmVjaG9zIGRlIGF1dG9yIGFsIGRpc3RyaWJ1aXIgZXN0b3MgYXJjaGl2b3MgeSBtZXRhZGF0b3MuIChTZSByZWNvbWllbmRhIGEgdG9kb3MgbG9zIGF1dG9yZXMgYSBpbmRpY2FyIHN1cyBkZXJlY2hvcyBkZSBhdXRvciBlbiBsYSBww6FnaW5hIGRlIHTDrXR1bG8gZGUgc3UgZG9jdW1lbnRvLikgRGUgbGEgbWlzbWEgbWFuZXJhLCBhY2VwdG8gbG9zIHTDqXJtaW5vcyBkZSBsYSBzaWd1aWVudGUgbGljZW5jaWE6IExvcyBhdXRvcmVzIG8gdGl0dWxhcmVzIGRlbCBkZXJlY2hvIGRlIGF1dG9yIGRlbCBwcmVzZW50ZSBkb2N1bWVudG8gY29uZmllcmVuIGEgbGEgVW5pdmVyc2lkYWQgTmFjaW9uYWwgZGUgQ29sb21iaWEgdW5hIGxpY2VuY2lhIG5vIGV4Y2x1c2l2YSwgbGltaXRhZGEgeSBncmF0dWl0YSBzb2JyZSBsYSBvYnJhIHF1ZSBzZSBpbnRlZ3JhIGVuIGVsIFJlcG9zaXRvcmlvIEluc3RpdHVjaW9uYWwsIHF1ZSBzZSBhanVzdGEgYSBsYXMgc2lndWllbnRlcyBjYXJhY3RlcsOtc3RpY2FzOiBhKSBFc3RhcsOhIHZpZ2VudGUgYSBwYXJ0aXIgZGUgbGEgZmVjaGEgZW4gcXVlIHNlIGluY2x1eWUgZW4gZWwgcmVwb3NpdG9yaW8sIHF1ZSBzZXLDoW4gcHJvcnJvZ2FibGVzIGluZGVmaW5pZGFtZW50ZSBwb3IgZWwgdGllbXBvIHF1ZSBkdXJlIGVsIGRlcmVjaG8gcGF0cmltb25pYWwgZGVsIGF1dG9yLiBFbCBhdXRvciBwb2Ryw6EgZGFyIHBvciB0ZXJtaW5hZGEgbGEgbGljZW5jaWEgc29saWNpdMOhbmRvbG8gYSBsYSBVbml2ZXJzaWRhZC4gYikgTG9zIGF1dG9yZXMgYXV0b3JpemFuIGEgbGEgVW5pdmVyc2lkYWQgTmFjaW9uYWwgZGUgQ29sb21iaWEgcGFyYSBwdWJsaWNhciBsYSBvYnJhIGVuIGVsIGZvcm1hdG8gcXVlIGVsIHJlcG9zaXRvcmlvIGxvIHJlcXVpZXJhIChpbXByZXNvLCBkaWdpdGFsLCBlbGVjdHLDs25pY28gbyBjdWFscXVpZXIgb3RybyBjb25vY2lkbyBvIHBvciBjb25vY2VyKSB5IGNvbm9jZW4gcXVlIGRhZG8gcXVlIHNlIHB1YmxpY2EgZW4gSW50ZXJuZXQgcG9yIGVzdGUgaGVjaG8gY2lyY3VsYSBjb24gYWxjYW5jZSBtdW5kaWFsLiBjKSBMb3MgYXV0b3JlcyBhY2VwdGFuIHF1ZSBsYSBhdXRvcml6YWNpw7NuIHNlIGhhY2UgYSB0w610dWxvIGdyYXR1aXRvLCBwb3IgbG8gdGFudG8sIHJlbnVuY2lhbiBhIHJlY2liaXIgZW1vbHVtZW50byBhbGd1bm8gcG9yIGxhIHB1YmxpY2FjacOzbiwgZGlzdHJpYnVjacOzbiwgY29tdW5pY2FjacOzbiBww7pibGljYSB5IGN1YWxxdWllciBvdHJvIHVzbyBxdWUgc2UgaGFnYSBlbiBsb3MgdMOpcm1pbm9zIGRlIGxhIHByZXNlbnRlIGxpY2VuY2lhIHkgZGUgbGEgbGljZW5jaWEgQ3JlYXRpdmUgQ29tbW9ucyBjb24gcXVlIHNlIHB1YmxpY2EuIGQpIExvcyBhdXRvcmVzIG1hbmlmaWVzdGFuIHF1ZSBzZSB0cmF0YSBkZSB1bmEgb2JyYSBvcmlnaW5hbCBzb2JyZSBsYSBxdWUgdGllbmVuIGxvcyBkZXJlY2hvcyBxdWUgYXV0b3JpemFuIHkgcXVlIHNvbiBlbGxvcyBxdWllbmVzIGFzdW1lbiB0b3RhbCByZXNwb25zYWJpbGlkYWQgcG9yIGVsIGNvbnRlbmlkbyBkZSBzdSBvYnJhIGFudGUgbGEgVW5pdmVyc2lkYWQgTmFjaW9uYWwgeSBhbnRlIHRlcmNlcm9zLiBFbiB0b2RvIGNhc28gbGEgVW5pdmVyc2lkYWQgTmFjaW9uYWwgZGUgQ29sb21iaWEgc2UgY29tcHJvbWV0ZSBhIGluZGljYXIgc2llbXByZSBsYSBhdXRvcsOtYSBpbmNsdXllbmRvIGVsIG5vbWJyZSBkZWwgYXV0b3IgeSBsYSBmZWNoYSBkZSBwdWJsaWNhY2nDs24uIGUpIExvcyBhdXRvcmVzIGF1dG9yaXphbiBhIGxhIFVuaXZlcnNpZGFkIHBhcmEgaW5jbHVpciBsYSBvYnJhIGVuIGxvcyBhZ3JlZ2Fkb3JlcywgaW5kaWNlc3MgeSBidXNjYWRvcmVzIHF1ZSBzZSBlc3RpbWVuIG5lY2VzYXJpb3MgcGFyYSBwcm9tb3ZlciBzdSBkaWZ1c2nDs24uIGYpIExvcyBhdXRvcmVzIGFjZXB0YW4gcXVlIGxhIFVuaXZlcnNpZGFkIE5hY2lvbmFsIGRlIENvbG9tYmlhIHB1ZWRhIGNvbnZlcnRpciBlbCBkb2N1bWVudG8gYSBjdWFscXVpZXIgbWVkaW8gbyBmb3JtYXRvIHBhcmEgcHJvcMOzc2l0b3MgZGUgcHJlc2VydmFjacOzbiBkaWdpdGFsLiBTSSBFTCBET0NVTUVOVE8gU0UgQkFTQSBFTiBVTiBUUkFCQUpPIFFVRSBIQSBTSURPIFBBVFJPQ0lOQURPIE8gQVBPWUFETyBQT1IgVU5BIEFHRU5DSUEgTyBVTkEgT1JHQU5JWkFDScOTTiwgQ09OIEVYQ0VQQ0nDk04gREUgTEEgVU5JVkVSU0lEQUQgTkFDSU9OQUwgREUgQ09MT01CSUEsIExPUyBBVVRPUkVTIEdBUkFOVElaQU4gUVVFIFNFIEhBIENVTVBMSURPIENPTiBMT1MgREVSRUNIT1MgWSBPQkxJR0FDSU9ORVMgUkVRVUVSSURPUyBQT1IgRUwgUkVTUEVDVElWTyBDT05UUkFUTyBPIEFDVUVSRE8uIAoKUGFyYSB0cmFiYWpvcyBkZXBvc2l0YWRvcyBwb3Igb3RyYXMgcGVyc29uYXMgZGlzdGludGFzIGEgc3UgYXV0b3I6IAoKRGVjbGFybyBxdWUgZWwgZ3J1cG8gZGUgYXJjaGl2b3MgZGlnaXRhbGVzIHkgbWV0YWRhdG9zIGFzb2NpYWRvcyBxdWUgZXN0b3kgYXJjaGl2YW5kbyBlbiBlbCBSZXBvc2l0b3JpbyBJbnN0aXR1Y2lvbmFsIFVOKSBlcyBkZSBkb21pbmlvIHDDumJsaWNvLiBTaSBubyBmdWVzZSBlbCBjYXNvLCBhY2VwdG8gdG9kYSBsYSByZXNwb25zYWJpbGlkYWQgcG9yIGN1YWxxdWllciBpbmZyYWNjacOzbiBkZSBkZXJlY2hvcyBkZSBhdXRvciBxdWUgY29ubGxldmUgbGEgZGlzdHJpYnVjacOzbiBkZSBlc3RvcyBhcmNoaXZvcyB5IG1ldGFkYXRvcy4KTk9UQTogU0kgTEEgVEVTSVMgQSBQVUJMSUNBUiBBRFFVSVJJw5MgQ09NUFJPTUlTT1MgREUgQ09ORklERU5DSUFMSURBRCBFTiBFTCBERVNBUlJPTExPIE8gUEFSVEVTIERFTCBET0NVTUVOVE8uIFNJR0EgTEEgRElSRUNUUklaIERFIExBIFJFU09MVUNJw5NOIDAyMyBERSAyMDE1LCBQT1IgTEEgQ1VBTCBTRSBFU1RBQkxFQ0UgRUwgUFJPQ0VESU1JRU5UTyBQQVJBIExBIFBVQkxJQ0FDScOTTiBERSBURVNJUyBERSBNQUVTVFLDjUEgWSBET0NUT1JBRE8gREUgTE9TIEVTVFVESUFOVEVTIERFIExBIFVOSVZFUlNJREFEIE5BQ0lPTkFMIERFIENPTE9NQklBIEVOIEVMIFJFUE9TSVRPUklPIElOU1RJVFVDSU9OQUwgVU4sIEVYUEVESURBIFBPUiBMQSBTRUNSRVRBUsONQSBHRU5FUkFMLiAqTEEgVEVTSVMgQSBQVUJMSUNBUiBERUJFIFNFUiBMQSBWRVJTScOTTiBGSU5BTCBBUFJPQkFEQS4gCgpBbCBoYWNlciBjbGljIGVuIGVsIHNpZ3VpZW50ZSBib3TDs24sIHVzdGVkIGluZGljYSBxdWUgZXN0w6EgZGUgYWN1ZXJkbyBjb24gZXN0b3MgdMOpcm1pbm9zLiBTaSB0aWVuZSBhbGd1bmEgZHVkYSBzb2JyZSBsYSBsaWNlbmNpYSwgcG9yIGZhdm9yLCBjb250YWN0ZSBjb24gZWwgYWRtaW5pc3RyYWRvciBkZWwgc2lzdGVtYS4KClVOSVZFUlNJREFEIE5BQ0lPTkFMIERFIENPTE9NQklBIC0gw5psdGltYSBtb2RpZmljYWNpw7NuIDE5LzEwLzIwMjEK