Sitemap и robots.txt: что проверить после запуска сайта
Два служебных файла подсказывают поиску, какие страницы обходить, а какие нет. Ошибка в них может закрыть от индексации весь сайт — проверить это можно за 10 минут.
robots.txt говорит поисковым роботам, куда не заходить. sitemap.xml — это список страниц, которые вы хотите видеть в поиске. Оба файла лежат в корне сайта: ваш-домен/robots.txt и ваш-домен/sitemap.xml.
Что проверить в robots.txt
- Нет строки «Disallow: /» для всех роботов — она закрывает весь сайт. Её часто забывают после тестовой версии.
- Закрыты служебные разделы: админка, корзина, поиск по сайту, страницы с параметрами фильтров.
- Открыты страницы услуг, товаров, блога, а также стили и скрипты.
- Указан адрес карты сайта строкой «Sitemap:».
Что проверить в sitemap.xml
- Файл открывается и в нём есть все важные страницы.
- Нет удалённых страниц, редиректов и страниц, закрытых в robots.txt.
- Адреса указаны с правильным протоколом и доменом: https и без www, если основной домен без www.
- Карта обновляется сама при добавлении страниц.
Как проверить через Вебмастер
- Раздел «Инструменты → Анализ robots.txt»: проверьте, разрешены ли адреса главной и пары услуг.
- Раздел «Индексирование → Файлы Sitemap»: добавьте карту и посмотрите, нет ли ошибок.
- Через неделю сверьте число страниц в поиске с числом страниц в карте.
Где ещё подключить сайт после запуска, читайте в статье «Яндекс Вебмастер и Search Console».
Нужна помощь с продвижением?
Расскажите о задаче — подготовим вопросы и предложим следующий шаг.