Как редактировать robots.txt через Yoast SEO?

wpadmin

,

Файл robots.txt — это важный инструмент для управления поведением поисковых роботов на вашем сайте WordPress. Если вы используете плагин Yoast SEO, у вас есть удобная возможность создавать и редактировать этот файл прямо из административной панели WordPress. В этом руководстве мы подробно разберем, как это сделать правильно.

Что такое robots.txt и зачем он нужен

Файл robots.txt — это текстовый файл, который сообщает поисковым роботам (таким как Googlebot, Yandex Bot), какие страницы и разделы вашего сайта они могут индексировать, а какие — нет. Правильно настроенный robots.txt помогает:

  • Экономить краулинговый бюджет поисковых систем
  • Ускорять индексацию важных страниц
  • Скрывать служебные разделы сайта от индексации
  • Указывать местоположение XML-карты сайта

Стандартные настройки robots.txt в WordPress и Yoast SEO

WordPress по умолчанию создает виртуальный robots.txt со следующим содержимым:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Yoast SEO заменяет стандартные настройки WordPress на более оптимизированные:

# START YOAST BLOCK
# ---------------------------
User-agent: *
Disallow:

Sitemap: https://www.example.com/sitemap_index.xml
# ---------------------------
# END YOAST BLOCK

Основные отличия Yoast SEO версии:

  • Разрешает индексацию всех разделов сайта (пустая директива Disallow)
  • Автоматически добавляет ссылку на XML-карту сайта
  • Оптимизирован для лучшего SEO-продвижения

Пошаговая инструкция: Как создать robots.txt через Yoast SEO

Шаг 1: Войдите в административную панель WordPress

Авторизуйтесь в своем WordPress сайте и перейдите в Консоль (Dashboard).

Шаг 2: Откройте настройки Yoast SEO

В левом меню найдите пункт «Yoast SEO» и кликните по нему.

Шаг 3: Перейдите в раздел «Инструменты»

В меню Yoast SEO выберите пункт «Tools» (Инструменты).

Шаг 4: Откройте редактор файлов

Найдите и кликните на «File Editor» (Редактор файлов).

Важно: Если этот пункт меню не отображается, значит в WordPress отключено редактирование файлов. В этом случае используйте альтернативный способ через FTP.

Шаг 5: Создайте файл robots.txt

Нажмите кнопку «Create robots.txt file» (Создать файл robots.txt).

Шаг 6: Редактируйте содержимое файла

После создания файла вы увидите стандартные директивы от Yoast SEO. Здесь вы можете:

  • Просмотреть текущие настройки
  • Добавить собственные правила
  • Изменить существующие директивы

Рекомендуемое содержимое robots.txt для WordPress

Вот оптимизированный пример robots.txt файла для большинства WordPress сайтов:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /?s=
Disallow: /search/
Disallow: /author/

Sitemap: https://ваш-сайт.ru/sitemap_index.xml

Проверка правильности настройки robots.txt

1. Прямая проверка

Перейдите по адресу ваш-сайт.ru/robots.txt и убедитесь, что файл загружается и содержит корректные директивы.

2. Google Search Console

Используйте инструмент «Тестирование robots.txt» в Google Search Console для проверки синтаксиса и логики файла.

3. Yandex.Webmaster

Аналогичный инструмент доступен в Яндекс.Вебмастере для проверки корректности настроек.

Заключение

Правильная настройка robots.txt через Yoast SEO — это простой, но важный шаг для оптимизации SEO вашего WordPress сайта. Плагин Yoast SEO значительно упрощает этот процесс, предоставляя удобный интерфейс для создания и редактирования файла прямо из административной панели.

Помните, что robots.txt — это рекомендации для поисковых роботов, а не строгие правила. Для критически важных страниц, которые должны быть скрыты от индексации, используйте дополнительные методы, такие как мета-тег noindex или парольную защиту.

Регулярно проверяйте и обновляйте свой robots.txt файл в соответствии с изменениями структуры сайта и SEO-стратегии.

© «Code==Poetry», 2025