Los motores de búsqueda en internet forman sus bases de datos principalmente a partir del trabajo de robots. Éstos pueden ser utilizados para indexación de páginas de un sitio web, búsqueda de enlaces rotos, validación de códigos html de páginas, etc.
Según su función o especialización se dividen en diversas subcategorías de programas: spiders, worms, web crawlers, web ants, etc. Los rastreadores de información propiamente dicho, son los crawlers o web crawlers.
Un crawler o rastreador es un programa que descubre nuevas páginas y recursos en la web a partir de uno o varios enlaces llamados semillas (seeds). El espacio web que un rastreador recorre mientras analiza y recolecta se llama crawler frontier, éste puede ser un conjunto finito de páginas dentro de un sitio web, un conjunto de sitios o toda la web.
En función de la política que siga el rastreador, el contenido de la base de datos será distinto, por ello, los resultados a la hora de hacer una búsqueda en dos buscadores serán diferentes y, es la razón por la que la política de recolección es prácticamente un secreto industrial de las empresas de buscadores.
Existen varios problemas con los que se puede encontrar un rastreador:
- la cobertura (la web es demasiado extensa para detectar todos los enlaces que existen),
- la actualización (debe tener una política para que la información que existe en el motor de búsqueda sea lo más actualizada posible),
- el acceso (muchos recursos no son accesibles a los rastreadores como recursos o directorios que necesitan usuario y contraseña, formatos que no reconoce o sitios que contienen información dinámica),
- la duplicidad (recursos duplicados con distintas urls).
La forma de pasar información a un rastreador es a través de las etiquetas meta de html (atributos name, content), ubicadas en la cabecera de los documentos. ¡Hasta la próxima entrada!
Entradas
