Cómo afrontamos un problema de indexación en Google

Como ya es costumbre en mis posts, me veo en la necesidad de romper el hielo con un buen meme.

Y es que a veces parece que Google falla y que no funciona bien, pero, en un alto porcentaje de las ocasiones, somos nosotros, los usuarios, SEO´s, programadores y demás outsiders los que no entendemos su funcionamiento.

Por eso es importante documentarse, testear, probar hipótesis y plantear diferentes escenarios cuando algún problema relacionado con Google nos hace exclamar un buen “WTF”

Esto suele ser el 90 y tanto por ciento de los casos, pero ¿y si Google sí falla y arrastra nuestro negocio con él?

Google es, de forma muy resumida, un enorme sistema de indexación. Los resultados de búsqueda sobre los que trabajamos diariamente son, en realidad, un índice. Éste funciona de la misma manera que el índice de un libro de texto. Nos ayuda a saber dónde está la información que necesitamos.

Obviamente lo mejor para nuestro negocio será figurar en ese índice lo más arriba posible.

En líneas generales, cuanto más arriba figuramos en el índice, más clicks recibimos, más visitas obtenemos y más ventas conseguiremos.

Pero ¿qué pasa si un día te despiertas y tu negocio ha desaparecido de ese índice?

Una desindexación es precisamente esto, la desaparición de tu web de los resultados de búsqueda. Más concretamente la desaparición de las URL´s de tu web de los resultados de búsqueda.

Por ello debemos dedicar cuidados y atención al estado de cada una de las URL´s de nuestro sitio. Cada URL cuenta y el posicionamiento de nuestro negocio puede depender de ellas.

Google y John Mueller, una de las caras más visibles de Google en redes sociales, lo han explicado en muchas ocasiones. En este video por ejemplo a partir del minuto 25:20. La idea es que cada una de nuestras páginas indexadas es evaluada y es tenida en cuenta para nuestro posicionamiento.

Dicho esto, al lío!

Lo que os relato a continuación es una versión resumida de un suceso que ocurrió con uno de nuestros clientes, un ecommerce con varias versiones de país y lenguaje y con un número elevado de URL´s en total.

El síntoma que suele delatar una posible desindexación suele ser una caída brusca de alguno de los KPI´s de nuestros clientes, ya sea tráfico, número de URL´s con sesiones, o variaciones bruscas de algún otro indicador.

El cliente, revisando sus métricas, percibe alguna anomalía y contacta con nosotros en busca de ayuda.

En este caso el nº de sesiones de nuestro cliente experimentó un descenso notable como podemos ver en la gráfica.

Como vemos, además, también se produjo una rotura en la clásica temporalidad del tráfico; sube en los días de semana y desciende durante los fines de semana.

Nuestro cliente rápidamente asoció este cambio a una acción de desindexación que habían aplicado a las paginaciones de su e-commerce.

Pero, a primera vista, no parecía suficiente como para hacer disminuir tanto el nº de sesiones.

En estos casos es importante analizar los resultados que vemos como en la gráfica anterior, así como el contexto de la propia herramienta.

¿Ha habido un cambio de algoritmo reciente? ¿Google ha realizado algún cambio significativo que puede alterar resultados?

Como agencia, en eStudio 34 siempre estamos atentos a los cambios significativos que pueden afectar al posicionamiento de nuestros clientes.

En estos meses (abril-mayo de 2019) Google llevó a cabo importantes cambios a nivel técnico.

A estos cambios los acompañó un fatídico “bug” o error del que buena parte del startsystem mundial de seo no tardó en hacerse eco. Por ejemplo: https://searchengineland.com/google-bug-may-select-unrelated-canonical-urls-could-impact-indexing-316036

En concreto, el 26 de Abril se produce un bug en Google que afecta a las URL´s con un determinado canonical.

Sin conocer exactamente la razón, el sistema de indexación de Google decide que esa URL´s no es la adecuada como canónical y la etiqueta como “unrelated canonicals URL´s. Esta definición de la URL provoca una desindexación de la misma y la consecuente desaparición de los resultados de búsqueda.

Y así de la noche a la mañana más de 3000 URL´s desindexadas. Y el número aumentando conforme pasan los días. Esta desindexación no discernía entre URL´s con o sin tráfico.

La desindexación afectó a páginas de producto, categorías, etc Una gran parte del sitio quedó fuera del índice de Google y perdió posicionamiento rápidamente.
Y ya sabéis qué pasa cuando pierdes el posicionamiento de tus URL´s… pues que pierdes visitas y con las visitas ventas.

Lo cierto es que fue un mes extraño y complejo para el funcionamiento de Google Search Console. Desde el día 5 de abril se producen errores y bugs en esta herramienta que repercutieron directamente en los resultados orgánicos de muchas webs y la web de nuestro cliente fue, desafortunadamente, uno de ellos.

Teníamos, por lo tanto, un escenario donde era especialmente importante discernir qué información era relevante y cuál no.

Para que veáis hasta qué punto se les fue de la mano el problema, publicaron en el blog oficial de Webmasters de Google un artículo aún en septiembre. Lectura recomendadísima. https://webmaster-es.googleblog.com/2019/09/errores-indexacion-y-aprendizaje.html

Nuestro cliente sufrió una dura caída tanto en nº de sesiones como en posicionamiento en los resultados de búsqueda.

En la siguiente gráfica podemos ver el nº de clicks e impresiones que empieza a perder en cuanto comienza la paulatina desindexación. Esto sí que mete miedo y no las nuevas versiones de IT

En esta gráfica, por otra parte, podemos ver cómo el número de sesiones y el total de URL´s con tráfico comienza también a disminuir durante esa semana y las semanas posteriores.

Nuestra hipótesis. Google no es infalible.

Nuestra hipótesis estaba clara. El bug de desindexacion de Google había arrasado la web de nuestro cliente y mandado una buena parte del site al “Dark side of the moon” (Discazo!)

Pero como somos así en eStudio34 quisimos desgranar y asegurarnos de que en realidad se tratase de esto y no de, por ejemplo, una incorrecta implementación de meta etiquetas.

Así que manos a la obra.

–Comprobación

Para preparar un documento de control donde pudiésemos ver qué es lo que había pasado en las URL´s más relevantes de sitio web utilizamos las siguientes herramientas: Google Analytics, Google Search Console, Supermetrics, Screaming Frog y tu editor de hojas de excel favorito/más odiado Microsoft Excel.

La lista de la compra de la que te tienes que acordar cuando ocurra algún error de indexación es la siguiente:

• Canonicals especificados.
• Metaetiquetas index / no index.
• Metaetiquetas follow / nofollow.
• Hreflang.
• Versiones en caché.
• Robots.txt
• Sitemap

1. 1. Identificar URL´s a analizar.

Buscamos aquellas URL´s con más peso que hayan tenido pérdidas. Para ponderar el peso utilizamos una métrica como el volumen de sesiones, usuarios, ventas o el que nosotros consideremos relevante.

Necesitamos analizar el antes y el después del fatídico día, y, por si acaso, comparar con años anteriores para descartar que estemos ante un problema de estacionalidad. Es decir, descartar que no se trate de una bajada de métricas habitual en esa época del año debido a la naturalez del sector de nuestro cliente.

1. 1. Extraemos todas las métricas necesarias para realizar el análisis.

En nuestro caso utilizamos:

1. 1. • Screaming Frog para analizar meta etiquetas Follow/nofollow e index/noindex.
      • Supermetrics para extraer número de clicks de Google Search Console de las URL´s seleccionadas. Así podemos comprobar el comportamiento en los resultados de búsqueda, analizar si realmente se ha desaparecido de los resultados.
      • Últimas URL´s cacheadas por Google. Este paso, aunque es muy manual, es ideal para averiguar cuál ha sido la última versión de nuestra URL´s que figura en el índice de Google.
   2. Comprobar la implementación.

Debemos comprobar que las URL´s seleccionadas tengan metaetiquetas index y follow, que no haya ningún impedimento a la indexación y que lo ocurrido se deba a un factor externo.
Además, analizamos también los sitemaps y el archivo robots.txt. Ambos elementos son una herramienta fundamental a la hora de “comunicarnos” con Google.

Problemas con Google y la indexación. Cómo superar una desindexación y recuperar tráfico y posicionamiento.

Una vez comprobamos que la desindexación se produjo por un elemento completamente externo al sitio web (por un fallo de Google Search Console, básicamente) pasamos a llevar a cabo las acciones necesarias.

Afortunadamente, la herramienta Google Search Console nos proporciona una gran cantidad de información sobre indexación y cualquier acción que realizamos puede ser medida.

En este caso, propusimos rehacer el sitemap e indicarlo en Google Search Console. Nos aseguramos de que las URL´s con mayores pérdidas de tráfico figuren en el documento.

Este tipo de eventos también pueden servir como una excelente oportunidad para ver en qué estado se encuentra nuestra página web. Podemos detectar de esta manera URL´s que no reciben tráfico y tomar decisiones al respecto. ¿Qué porcentaje de mi web recibe tráfico? ¿Podría categorizar mejor mis productos? ¿La estructura de mi sitio es eficiente?

Además, en clientes con varias versiones de web para los distintos mercados, sirve para unificar estrategias. Errores detectados en una versión de idioma en concreto pueden replicarse en otros idiomas. Ya sabes, normalmente prevenir es mejor que curar.

Nuestro cliente se recuperó de la desindexación mejorando incluso resultados como podemos ver en estas gráficas.

En azul podemos ver el número de sesiones y la línea verde representa el número de landings indexadas que han recibido tráfico.

En el siguiente gráfico también podemos ver que las impresiones en los resultados de búsqueda también se recuperaron y que, consecuentemente, el número de clicks también aumentó.

Nos gustaría recomendaros algunas fuentes fiables en caso de que necesites más información sobre la indexación en google.

https://www.shoutmeloud.com/google-crawling-and-indexing.html (Aporta también explicaciones interesantes sobre crawling)

https://www.gsqi.com/marketing-blog/how-to-estimate-low-quality-indexing-problem-by-page-type/ (Completísima guía para investigar sobre desindexación )

Te recomendamos además seguir la cuenta de twitter oficial de Google Search para estar atento a los cambios técnicos que pueden afectar al estado de indexación de tu web! https://twitter.com/searchliaison