Когда эта услуга подходит
- сайт случайно закрыт Disallow: /
- часть нужных страниц не обходится
- после тестового домена остались запрещающие правила
- файл содержит старый sitemap или старый домен
- непонятно, что именно нужно закрывать
Как разбираю задачу
- читаю текущие правила и структуру сайта
- проверяю критичные запреты
- убираю устаревшие или опасные строки
- указываю актуальный Sitemap
- проверяю доступность robots.txt по стандартному адресу
Что нужно от вас
- домен
- доступ к корню сайта или генератору robots.txt
- понимание, есть ли служебные разделы, которые сознательно не должны обходиться
Пароли не нужно отправлять в первом сообщении. Сначала достаточно ссылки и описания — доступ запросим только тот, который реально нужен для работы.
Частые вопросы
Можно через robots.txt удалить страницу из поиска?
Не всегда. Запрет обхода и удаление уже известного URL из индекса — разные задачи.
Нужно прописывать Host?
Главное — корректная основная версия и canonical/редиректы. Специфичные директивы добавляю только когда они действительно нужны.
Проверите sitemap вместе с robots?
Да, ссылка на актуальную карту — часть проверки.