Hay básicamente dos tipos de motores de búsqueda. La primera es por robots llamados crawlers o arañas.
Los motores de búsqueda utilizan las arañas a indexar sitios web. Cuando usted envía sus páginas web un motor de búsqueda por completar su página de presentación requerida, la araña del motor de búsqueda indexarán su sitio. Una "araña" es un programa automatizado que se ejecuta por el sistema de motor de búsqueda. Araña visita un sitio web, leer el contenido en el mismo lugar, los meta tags del sitio y seguir los enlaces que el sitio se conecta. La araña regresa toda esa información de nuevo a un depósito central, donde se indexan los datos. Se visitará cada enlace que tiene en su página web y el índice de estos sitios también. Algunas arañas sólo indexará un cierto número de páginas de su sitio, así que no crear un sitio con 500 páginas!
La araña periódicamente volver a los sitios para comprobar si hay alguna información que ha cambiado. La frecuencia con que esto ocurre está determinado por los moderadores del motor de búsqueda.Una araña es casi como un libro donde se contiene la tabla de contenido, el contenido real y los enlaces y referencias para todos los sitios web que encuentra durante su búsqueda, y se puede indexar hasta un millón de páginas al día.
Ejemplo: Excite, Lycos, y Google.
Cuando le preguntas a un motor de búsqueda para localizar la información, en realidad está buscando a través del índice que se ha creado y en realidad no buscar en la Web. Diferentes motores de búsqueda producen diferentes clasificaciones, ya que no todos los motores de búsqueda utiliza el mismo algoritmo para buscar a través de los índices.
Una de las cosas que un algoritmo de motor de búsqueda de las exploraciones para la frecuencia y la localización de palabras clave en una página web, pero también puede detectar palabras clave artificial, relleno o spamdexing. A continuación, los algoritmos de análisis de la forma en que las páginas de enlaces a otras páginas en la Web. Al marcar el número de páginas enlaces a otras, un motor puede determinar qué tanto se trata de una página, si las palabras clave de las páginas enlazadas son similares a las palabras clave en la página original.
