Кейс: как мгновенно проиндексировать 250 тысяч страниц своего сайта | CPALIL.RU

Кейс: как мгновенно проиндексировать 250 тысяч страниц своего сайта

0

При создании площадки Devsnap, David работал через Create React App на языке Go с GraphQL. В финале работы ожидался классический SPA-сайт с клиентским рендерингом. Перед Google стояла грандиозная работа. Поисковику предстояло проиндексировать около 250 тысяч страниц сайта. Вебмастер не особо переживал. Всем известно, что поисковик прекрасно справляется с JavaScript и проблем быть не должно.

Работа началась и кривая трафика медленно поползла вверх. Сперва дело шло хорошо. Google индексировал по 2 страницы в минуту. David полагал, что поисковик в ближайшем будущем ускорится, но Google даже и не думал наращивать темпы.

1

cpalil

Остановившись на 20 000 страниц, индексация и вовсе прекратилась. Вебмастер решил внедрить SSR.

1. Серверный рендеринг

Улучшения начались с изучения мануала. David посоветовался с seo-шниками и решил использовать серверный рендеринг. Он позволял проиндексировать площадку дважды: сперва Googlebot смотрит на первоначальный HTML, находит ссылки и переходит по ним. Далее контент отправляется рендереру, который получает заключительный HTML.

2

Для Google это дешево, но процесс идет очень медленно. Мануал позволил поисковику сразу увидеть нужные ссылке в коде. В итоге результаты подросли.

file_1556098775

Показатели остановились на уровне 100 000 страниц. Остальные 150 000 Google индексировать не спешил.

2. Sitemap

David не унывал и решил внедрить динамический Sitemap. Этот шаг мог позволить Google индексировать страницы еще быстрее. Вебмастер внедрил маленький скрипт на Go, генерирующий sitemap.xml два раза в день. Размер сайтмапов был ограничен 50 урлами, поэтому пришлось делать несколько карт и добавлять в них только релевантные страницы.

1

После внедрения сайтмапов, Google стал индексировать по 10 страниц в минуту. Этого также было мало.

3. Корень проблемы: JavaScript

Вебмастер решил разобрать проблему по полочкам. Почему площадка индексировалась так медленно? Существует множество подобных ресурсов, с которыми Google легко справляется. Для индексации любого сайта Google выделяет ограниченные ресурсы. Сканирование Devsnap получилось слишком дорогой для поисковика. Google распознавал все ссылки в начальном HTML, при этом все так же отправляя материалы в рендерер для окончательной проверки. Из-за JavaScript поисковик просто не знает, что все ссылки точно есть в начальном HTML. David удалил JavaScript полностью, чтобы боты его не видели.

1

Сразу после этого Google сошел с ума. Поисковик начал индексировать по 10 страниц в секунду.

1

2

Через день после изменения результаты значительно выросли. Трафик пополз вверх.

1

Google проиндексировал все 250 000 страниц.

Вывод

При индексации огромного ресурса выгоднее отдавать поисковому боту сразу же финальный HTML. Смело удаляем JavaScript, при этом оставив, Schema-JS.

Источник

comments powered by HyperComments

Хочешь быть в тренде?