Crawler Googlebot y Google Spider: Google Spider/Bot es un programa que está en funcionamiento las veinticuatro horas del día buscando nuevas páginas webs para poder actualizar el contenido aunque no los registra oficialmente hasta que tenga peticiones. Sólo los recoge y los envía al Crawler que los guarda en su base de datos y los analiza.
Spider ----> Recoge.
Esto quiere decir que si una página web no ha sido rastreada y analizada por el Crawler no aparecerá en resultados de búsqueda de Google.Crawler ---->Analiza y almacena la página.
Spider analiza las páginas que tienen en su índice y sigue sus links y de ese enlace a otra página que contiene otros links que llevan a otra página. Una vez que se rastrea una página Google realiza el proceso de indexación que ordena el índice según la importancia respecto a la palabras clave. Este proceso de indexación es lo que otorga calidad a las búsquedas de google, pues eliminando las "stopwords", que son aquellas palabras generales que no aportan a la búsqueda ("el, la, lo, las, en ...")
La rapidez de Google viene dada porque utiliza sus propios índices en vez de utilizar el internet.
El servidor donde se procesa la búsqueda del usuario es Google Query Processor. Lo primero que hace es pedir el índice de la multitud de páginas que ha rastreado que contienen las palabras clave de la búsqueda del usuario , una vez que tiene todas las páginas con las palabras clave Google utiliza dos herramientas para que la búsqueda sea rápida, pero no lo suficientemente eficaz; es decir,puede que no tenga calidad, que no sea justo lo que busca el usuario. Dichas herramientas son Algoritmo y Page Rank.
- El Algoritmo de Google según las palabras clave de la búsqueda que haya solicitado el usuario, analiza si se encuentran en el título, en la propia URL de la página, si se repite muchas veces en dicha página... Pero esto no garantiza la buena calidad de la página, es por eso que después del algoritmo pasa al Page Rank.
- Page Rank: es utilizado para la relevancia óptima del usuario, en una escala del uno al diez la puntúa, estas condiciones están dadas por el número de veces que el link de una página se comparte en otras páginas, y si es citado en webs importantes que tienen muchos usuarios aparecerá de las primeras.
Actualmente el funcionamiento interno de Google está establezido por Google Caffeine. Es un motor de búsqueda que hace índices más rápido, con más contenido, más eficaz, más sólido que el Spider. Junto al Google Caffeine se suma Google Mayday.
Google Mayday es un cambio del algoritmo utilizado anteriormente por Google que promociona los sitios más pequeños que merecen la pena, que son más eficaces y mejora la calidad. Esto ha perjudicado a las grandes páginas que no pueden actualizar todo el contenido que tienen, pero es algo necesario, pues el usuario que utiliza Google quiere encontrar lo más actual y de buena calidad que existe en la red.
Con esta nueva mejora el Page Rank ya no tiene tanto sentido, pues el mejor contenido no es necesariamente el enlace que más se ha compartido. Pero aun así Page Rank seguirá computando con menos frecuencia
CONCLUSIÓN:
¿Por qué Google es tan rápido?Google no busca en Internet, busca en su índice que está constantemente actualizándose por el spider.
Hace 10 años Google utilizaba su Algoritmo, el cual simplemente buscaba páginas que tuviesen las mismas palabras que escribía el usuario, y el Page Rank el cual cuanto más se compartía la URL de dicha página salía de las primeras.
Esto no garantizaba la calidad de que el resultado fuese lo que buscaba el usuario, fue por eso que se implantó el Google Mayday y el Google Caffeine ayudando a las páginas que realmente aportan información de buena calidad, sea conocida o no.
https://support.google.com/adwords/answer/2454010?hl=es
https://support.google.com/adwords/answer/140351?hl=es
http://www.top-rankin.com/como-funciona-google/
http://www.top-rankin.com/que-es-google-caffeine/
