Documentos duplicados y casi duplicados en el Web: detección con técnicas de hashing borroso

  • Carlos G. Figuerola Departamento de Informática y Automática, Facultad de Traducción y Documentación, Universidad de Salamanca, España
  • Raquel Gómez Díaz
  • José Luis Alonso Berrocal
  • Angel Zazo Rodríguez
Palabras clave: World Wide Web, Detección de duplicados, Fuzzy hashing

Resumen

La detección de los duplicados en la web es importante porque permite aligerar las bases de datos documentales y mejorar la eficiencia de los motores de búsqueda y la precisión de los análisis cibermétricos y los estudios de minería web, etc. Sin embargo, las técnicas estándar de hashing aplicadas habitualmente sólo detectan duplicados exactos, a nivel de bits, mientras que muchos de los duplicados que encontramos en el mundo real no son exactamente iguales, por cambios en el formato, las cabeceras, las etiquetas META o las plantillas de visualización. La solución obvia es comparar las conversiones a texto plano de todos esos formatos, pero esas conversiones nunca son idénticas, debido al diferente tratamiento que hacen los conversores de los diversos elementos de formato. Se presenta la posibilidad de utilizar fuzzyhashing para producir huellas digitales de dos documentos que se pueden comparar para proporcionar una estimación de la cercanía o distancia entre los dos documentos. Basado en el concepto de rollinghash, el fuzzy hashing se utiliza con éxito en tareas de seguridad informática como identificación de programas maliciosos, correo basura, detección de virus, etc. Hemos añadido capacidades de fuzzy-hashing a un crawler y hemos llevado a cabo diversas pruebas que nos han permitido estimar umbrales útiles de similitud o parecido entre documentos, así como obtener datos interesantes sobre la cantidad y distribución de documentos duplicados en servidores web.


Biografía del autor/a

Carlos G. Figuerola, Departamento de Informática y Automática, Facultad de Traducción y Documentación, Universidad de Salamanca, España
Es profesor del Grado en Documentación y del Master en Sisyemas de Información Digital de la Universidad de Salamanca. Su docencia se centra en las técnicas informáticas base de las Ciencias de la Información y Documentación. Además es miembro del grupo de investigación E-lectra, grupo reconocido de la Universidad de Salamanca, cuyos temas de interés son la recuperación de información y la cibermetría: implementación de conocimiento lingüístico en sistemas de recuperación, procesamiento de lenguaje natural, recuperación de información multilingüe, clasificación automática, recuperación robusta, recuperación interactiva, recuperación de información en el web, cibermetría, etc.
Publicado
2011-12-30
Sección
Artículos