Algoritmo fonético para detección de cadenas de texto duplicadas en el idioma español

Con frecuencia datos que deberían estar escritos de forma idéntica no lo están debido a errores ortográficos y tipográficos, variaciones en el orden de las palabras, uso de prefijos y sufijos, entre otros. Las técnicas fonéticas para detección de duplicados no están orientadas al idioma español, lo que dificulta la identificación y corrección de problemas como errores ortográficos en textos escritos en este idioma. En este artículo de investigación se propone un algoritmo denominado PhoneticSpanish parala detección de cadenas de texto duplicadas el cual considera la presencia de errores ortográficos en el idioma español. El algoritmo propuesto se comparó con nueve técnicas para la detección de duplicados. Los resultados del algoritmo fueron satisfactorios ya que se obtuvieron mejores resultados que las otras técnicas y evidencian oportunidades para mejorar el análisis de información en el idioma español.

• Autores: Amón, Iván; Moreno, Francisco; Echeverri, Jaime
• Tipo de recurso: Article of journal
• Fecha de publicación: 2012
• Institución: Universidad de Medellín
• Repositorio: Repositorio UDEM
• Idioma: spa
• OAI Identifier: oai:repository.udem.edu.co:11407/943
• Acceso en línea: http://hdl.handle.net/11407/943
• Palabra clave: Limpieza de datos; calidad de datos; detección de duplicados; funciones de similitud; algoritmos fonéticos.
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/