Detección de duplicados: una guía metodológica

Cuando una misma entidad del mundo real se almacena más de una vez, a través de una o varias bases de datos, en tuplas con igual estructura pero sin un identificador único y éstas presentan diferencias en sus valores, se presenta el fenómeno conocido como detección de duplicados. Para esta tarea, se han desarrollado múltiples funciones de similitud las cuales detectan las cadenas de texto que son similares mas no idénticas. En este artículo se propone una guía metodológica para seleccionar entre nueve de estas funciones de similitud (Levenshtein, Brecha Afín, Smith-Waterman, Jaro, Jaro-Winkler, Bi-grams, Tri-grams, Monge-Elkan y SoftTF-IDF) la más adecuada para un caso específico o situación particular, de acuerdo con la naturaleza de los datos que se estén analizando.

• Autores: Amón Uribe, Iván; Jiménez, Claudia
• Tipo de recurso: Trabajo de grado de pregrado
• Fecha de publicación: 2010
• Institución: Universidad Autónoma de Bucaramanga - UNAB
• Repositorio: Repositorio UNAB
• Idioma: spa
• OAI Identifier: oai:repository.unab.edu.co:20.500.12749/8942
• Acceso en línea: http://hdl.handle.net/20.500.12749/8942
• Palabra clave: Innovaciones tecnológicas; Ciencia de los computadores; Desarrollo de tecnología; Ingeniería de sistemas; Investigaciones; Tecnologías de la información y las comunicaciones; TIC´s; Technological innovations; Computer science; Technology development; Systems engineering; Investigations; Information and communication technologies; ICT's; Data cleansing; Data preprocessing; Data quality; Duplicate detection; Similarity functions; Innovaciones tecnológicas; Ciencias de la computación; Desarrollo tecnológico; Ingeniería de sistemas; Investigaciones; Tecnologías de la información y la comunicación; Limpieza de datos; Preprocesamiento de datos; Calidad de datos; Detección de duplicados; Funciones de similitud
• License: Derechos de autor 2010 Revista Colombiana de Computación