El tutorial definitivo de Screaming Frog Seo Spider

Cuando empezamos a mirar el tráfico de nuestro blog, nos dimos cuenta de que este era uno de los posts más populares. Tras un breve momento de reflexión y una oleada de entusiasmo por la ubicuidad de la Screaming Frog SEO Spider, una herramienta que ha sido una fiel compañera en nuestro viaje técnico de SEO, nos dimos cuenta de que habíamos hecho un flaco favor a nuestros lectores y a los muchos saltos de la impresionante Screaming Frog.

Screaming Frog ha evolucionado a lo largo de los años y ahora ofrece un nuevo conjunto de funciones y pasos simplificados para realizar auditorías técnicas, comprobar la salud de un sitio web o simplemente echar un vistazo rápido a la información de una selección de URL.

A continuación se ofrece una guía actualizada sobre cómo los SEO, los profesionales del PPC y los profesionales del marketing digital pueden utilizar la herramienta para optimizar su flujo de trabajo.

Cómo rastrear un sitio completo con Screaming Frog Seo Spider

Cuando empiece a rastrear, tómate un momento para considerar qué tipo de información estás buscando, qué tamaño tiene el sitio web y qué parte del sitio web necesitas rastrear para obtener toda la información. En el caso de los sitios web más grandes, a veces es mejor limitar el rastreador a una parte de las URL para obtener una muestra representativa de los datos. De este modo, el tamaño de los archivos y la exportación de datos son manejables. A continuación, lo analizamos con más detalle. Para rastrear todo su sitio web, incluyendo todos los subdominios, necesita hacer algunos ajustes menores en la configuración de la araña para empezar.

Por defecto, Screaming Frog sólo rastreará el subdominio en el que entres. Cualquier subdominio adicional que la araña encuentre se considerará un enlace externo. Para rastrear subdominios adicionales, debes cambiar los ajustes en el menú de configuración de la araña. Si activa la opción "Rastrear todos los subdominios", se asegura de que la araña rastree todos los enlaces que encuentre hacia otros subdominios de tu sitio web.

Rastrear un único subdirectorio

Cuando empieces a buscar, tómate un momento para pensar en el tipo de información que estás buscando, el tamaño del sitio y la parte del sitio que necesita buscar para obtener toda la información. En el caso de sitios grandes, a veces es mejor limitar el rastreo a un subconjunto de URLs para obtener una muestra representativa de los datos. Esto hace que el tamaño del archivo y la exportación de datos sean manejables. Esto se trata con más detalle más adelante en este artículo. Si quiere rastrear todo el sitio web, incluidos todos los subdominios, tendrá que hacer unos pequeños ajustes en la configuración de la araña para empezar.

Por defecto, Screaming Frog Seo Spider sólo rastrea el subdominio especificado. Todos los demás subdominios que la araña encuentre serán tratados como enlaces externos. Si deseas rastrear subdominios adicionales, debes cambiar los ajustes en el menú de configuración de la araña. Si activas la función "Rastrear todos los subdominios", se asegura de que la araña rastree todos los enlaces que encuentre hacia otros subdominios de tu sitio.

Quiero una lista de todas las páginas en un subdirectorio específico

Además de deseleccionar "Comprobar imágenes", "Comprobar CSS", "Comprobar JavaScript" y "Comprobar SWF", también querrá deseleccionar "Comprobar enlaces fuera de la carpeta" en la configuración de la araña. Ejecutar la araña con estos ajustes desmarcados le dará, en efecto, una lista de todas las páginas en tu carpeta de inicio (siempre que no sean páginas huérfanas).

Cómo encontrar todos los subdominios de un sitio y verificar los enlaces internos

Hay varias formas diferentes de encontrar todos los subdominios de un sitio.

• Utiliza Screaming Frog Seo Spider para identificar todos los subdominios de un sitio determinado. Vete a Configuración > Araña, y asegúrate de que "Rastrear todos los subdominios" está seleccionado. Al igual que el rastreo de todo el sitio anterior, esto ayudará a rastrear cualquier subdominio que esté vinculado dentro del rastreo del sitio. Sin embargo, esto no encontrará los subdominios que estén huérfanos o desvinculados.

• Utiliza Google para identificar todos los subdominios indexados. Utilizando la extensión de Chrome Scraper y algunos operadores de búsqueda avanzada, podemos encontrar todos los subdominios indexables para un dominio determinado.

• Introduce la URL del dominio raíz en herramientas que te ayuden a buscar sitios que puedan existir en la misma IP o motores de búsqueda diseñados especialmente para buscar subdominios, como FindSubdomains. Crea una cuenta gratuita para acceder y exportar una lista de subdominios. A continuación, suba la lista a Screaming Frog utilizando el modo de lista. Una vez que la araña haya terminado de funcionar, podrás ver los códigos de estado, así como los enlaces en las páginas de inicio de los subdominios, el texto ancla y los títulos de las páginas duplicadas, entre otras cosas.

Rastrear un sitio un e-commerce u otro sitio web grande

Screaming Frog no fue construido originalmente para rastrear cientos de miles de páginas, pero gracias a algunas actualizaciones, está cada vez más cerca.

La versión más reciente de Screaming Frog se ha actualizado para confiar en el almacenamiento de la base de datos para los rastreos. En la versión 11.0, Screaming Frog permitió a los usuarios optar por guardar todos los datos en el disco en una base de datos en lugar de mantenerlos en la memoria RAM. Esto abrió la posibilidad de rastrear sitios muy grandes por primera vez.

En la versión 12.0, el rastreador guarda automáticamente los rastreos en la base de datos. Esto permite acceder a ellos y abrirlos utilizando "Archivo > Rastreos" en el menú de nivel superior, en caso de que le entre el pánico y se pregunte dónde ha ido a parar el comando de apertura.

Si bien el uso de rastreos en la base de datos ayuda a Screaming Frog Seo Spider a gestionar mejor los rastreos más grandes, ciertamente no es la única manera de rastrear un sitio grande.

Cómo rastrear un sitio alojado en un servidor antiguo

En algunos casos, los servidores más antiguos pueden no ser capaces de manejar el número predeterminado de solicitudes de URL por segundo. De hecho, recomendamos incluir un límite en el número de URLs a rastrear por segundo para ser respetuosos con el servidor de un sitio por si acaso. Es mejor informar a un cliente cuando se planea rastrear un sitio por si acaso tienen protecciones contra agentes de usuario desconocidos.

Por un lado, es posible que tengas que incluir tu IP o tu agente de usuario en la lista blanca antes de rastrear el sitio. El peor escenario puede ser que envíes demasiadas peticiones al servidor y que, sin querer, el sitio se bloquee.

Para cambiar la velocidad de rastreo, elige "Velocidad" en el menú de Configuración, y en la ventana emergente, selecciona el número máximo de hilos que deben ejecutarse simultáneamente. Desde este menú, también puedes elegir el número máximo de URLs solicitadas por segundo.

Y hasta aquí tenemos el tutorial de Screaming Frog SEO Spider, realmente esta herramienta tan poderosa tiene infinidad de funciones y de posibilidades. Nosotros te recomendamos que empieces a utilizarla e irás descubriendo poco a poco la magia que tiene. Puede darte una información sencillamente brutal del estado de un sitio web tuyo o de tu competencia. Y analizar muchisísimas cosas. Sigue visitando y navegando nuestra web para seguir descubriendo las mejores herramientas de SEO.