Ошибка «Сайт закрыт от индексации в файле robots.txt» означает, что поисковому роботу был запрещён доступ к вашему ресурсу. Если это не исправить, проект может быть исключён из индекса.
Не спешите пугаться. Мы подготовили для вас несколько советов, которые помогут легко решить данную проблему. Скорее всего вам даже не понадобится помощь специалистов.
Одна из причин по которой может появиться запрет на индексирование ресурса – это несвоевременная оплата за аренду доменного имени. Продлите ваш домен и через пару дней отображение ошибки исчезнет.
Robots – это текстовый документ, который находится на сервере вашего проекта. С помощью внесения в него специальных записей вебмастер может управлять видимостью контента и закрывать от поисковой системы служебные страницы, которые не нужно показывать в поиске. Для этого необходимо прописать в документе директиву «disallow». Именно из-за неправильного использования данной директивы у поисковика чаще всего и возникают проблемы с загрузкой файла роботс.
Проверить содержимое данного документа можно с помощью специального внутреннего инструмента в панели вебмастера Яндекс. Перейдите по ссылке и укажите в поле URL-адрес вашего ресурса. Посмотрите нет ли в содержании документа строчек, которые имеют следующий вид:
| Строчка | Значение |
|---|---|
|
User-agent: Yandex Disallow: / |
Доступ закрыт для Яндекс |
|
User-agent: Googlebot Disallow: / |
Доступ закрыт для Google |
|
User-agent: * Disallow: / |
Доступ закрыт для всех поисковых систем |
Если какая-либо из данных записей обнаружится, её необходимо удалить.
Перейдите в корневую директорию вашего проекта и найдите там файл с названием «robots.txt«. Чтобы при следующем обращении разрешить поисковику доступ ко всему ресурсу, просто удалите из документа все запрещающие директивы. Ничего вместо них прописывать не нужно.
Если вы хотите запретить индексировать отдельные страницы или раздел, необходимо использовать запись «Disallow: /URL страницы/». Например, запись: «Disallow: /admin/» запрещает ссылки из панели администратора.
Чтобы закрыть раздел, используется запись «Disallow: /Раздел/*».
Не спешите расстраиваться, если предыдущие советы не помогли. Вы всегда можете обратиться за помощью к нашим специалистам. Мы настроим корректные параметры индексации и в качестве бонуса проведём полную диагностику вашего ресурса на наличие других критичных нарушений и проблем с безопасностью.
С Вами свяжутся в течение часа в рабочее время.
Если есть вопросы напишите нам на почту shchelkovo@mosseo.ru или просто позвоните по номеру
