Вступление.

Приветствую всех начинающих веб-мастеров на проекте «Сайт — это легко!» В предыдущих уроках мы создали свой собственный сайт на движке WordPress и провели его базовую seo-оптимизацию. Для новых посетителей рекомендую предыдущий урок, там много чего полезного по оптимизации сайта WordPress.

Ну, не будем тянуть резину и приступим к делу. В этом уроке мы добавим наш сайт в поисковик Яндекс, создадим специальный файл для поисковых роботов, а так же поговорим немного о карте сайта.

Добавляем сайт в «Яндекс Вебмастер».

И первое что мы сделаем, это добавим наш сайт в Яндекс. Оповестим поискового гиганта, что у нас есть молодой классный сайт, и его статьи и другой контент не плохо было бы добавить в поисковую выдачу. Для добавления сайта в Яндекс переходим по адресу webmaster.yandex.ru. Вы должны быть авторизованы в сервисах Яндекс.

Перед нами открывается посадочная страница. Нажимаем кнопку «Перейти».

В открывшемся окне нажимаем «добавить сайт» и добавляем ссылку на наш сайт, но обязательно с префиксом «https». Вы должны помнить из предыдущих уроков, что сайт должен быть переведен на безопасный протокол.

Яндекс попросит подтвердить права на сайт. Сделаем это с помощью HTML-файла. Качаем файл по ссылке.

И теперь нам необходимо добавить его в корень сайта. Для этого заходим в панель управления хостингом. Слева выбираем раздел «Файлы», «файловый менеджер».

Выбираем папку с установленной CMS WordPress.

Далее заходим в папку «public html».

И уже в нее загружаем наш проверочный файл. Для этого просто перетащите ваш файл в окно с файлами.

После этого возвращаемся в «Яндекс Вебмастер» и нажимаем «Проверить».

Если проверка прошла успешно, появится вот такое сообщение:

Сайт успешно добавлен!

Примечание! Если вы делали сайт на другом хостинге — расположение папок у вас может быть иное.

Карта сайта. Как создать и добавить в Яндекс?

Что бы быстрее делать обход страниц роботом Яндекс и Google, нашему сайту нужна карта сайта. На сайте появляются новые записи, изменяются предыдущие, появляются новые рубрики и тэги. Что бы все это проиндексировать и желательно побыстрее, поисковикам просто необходима карта сайта.

Автоматически карту сайта создаёт ранее установленный нами плагин seo-оптимизации «Yoast Seo». Сейчас наша задача — найти ссылку на карту сайта и добавить эту ссылку в «Яндекс Вебмастер». Для этого в админ-панели нашего сайта заходим в «Yoast SEO», «общие», далее — выбираем вкладку «возможности», и спускаемся к разделу «XML-карта сайта».

Нажимаем на знак вопросика и переходим по ссылке «Посмотреть карту сайта».

Вот так выглядит карта нашего сайта.

Если помните, в предыдущем уроке в настройках плагина мы выбирали, какие типы контента добавлять к индексации, а какие исключать. Поисковой робот заходит на карту сайта, а уже по ссылкам в ней смотрит какой контент индексировать. И как видно по нашей карте сайта, робот будет проверять посты, страницы, рубрики и тэги. Все типы контента, которые мы разрешили к индексации в настройках плагина.

Копируем ссылку нашей карты сайта.

Переходим обратно в «Яндекс Вебмастер». В «Вебмастере» выбираем пункт «Индексирование», «Файлы SiteMap».

Может вылезти окно о проверке корректности почты. Если почта верна, закрываем это окно.

Далее — вставляем скопированную ссылку в пустое поле и нажимаем «Добавить».

Файл карты сайта добавлен в Яндекс. Какое то время Яндексу понадобится, что бы его обработать. Теперь Яндексу будет проще индексировать наш сайт.

Зачем нужен файл Robots.txt?

Если помните, в предыдущем уроке в настройках плагина «Yoast SEO» мы указывали, какие страницы будут участвовать в поиске, а какие нет. Для индексирования мы оставили рубрики, метки, страницы и записи.

Но этого не совсем достаточно, для того, что бы робот тратил меньше времени, определяя какие страницы обходить, а какие не стоит. Для этого мы создадим специальный файл под названием «Robots.txt», который подскажет роботу Яндекс следующее: «вот эти страницы обходи, а на эти страницы не трать свое время».

Какие страницы могут быть запрещены к индексации? Ну например, страницы админки. Давайте в двух словах поговорим, что такое файл «Robots». Файл «Robots» — это обычный текстовый файл, в котором указаны различные директивы.

Самая первая директива — это «User-agent». «User-agent» – указывает для какого робота работают директивы указанные ниже. Как видите в моём файле напротив директивы «User-agent» указана звёздочка. Это значит что все правила, действуют для всех поисковых роботов.

Если вы хотите задать правило для конкретного поискового бота, то тогда вместо звёздочки необходимо указать название этого робота. Ну например, Вы оптимизируете сайт под Гугл, то тогда вместо звездочки указываете «Googlebot»

Тогда все ниже перечисленные правила будут распространяться только на робота Gogle. Робот Яндекс в таком случае будет обходить страницы на свое усмотрение.

Дериктивы разрешения и запрета.

Мы переходим ниже и смотрим на структуру файла Robots. Как видите в основном здесь указаны два правила: «Allow» и «Disallow».

«Allow» — с английского: позволять, «Disallow» — не позволять. Соответственно первая строка подсказывает поисковому роботу, что индексировать папку «/cgi-bin» нельзя.

Вторая строчка закрывает индексацию админ панели.

А третья строка разрешает не блокировать роботу различных интерактивных интерфейсов нашего сайта.

На этом пока не заостряйте внимание. Просто имейте ввиду, что эта строка важна и сделано она больше для робота Google, что бы он корректно мог индексировать наш сайт.

Ну и последующие строки закрывают страницы поиска, страницы автора и другие страницы и ссылки, которые не несут полезной информации для пользователя. Повторюсь, именно это сейчас мы и делаем — закрываем различные страницы и ссылки, которые не несут полезной информации для пользователя. Как бы говорим роботу: «Сюда лезть не надо, для пользователя здесь ничего нет. Не добавляй эти страницы в индекс. Не трать свое время, обрати внимание на полезный контент!»

С директивами разрешения и запрета разобрались. Разберем последнюю директиву «Sitemap».

Как мы видим здесь даже указан комментарий что нам необходимо указать роботу ссылку на карту сайта. Кстати, комментарии в Robots ставятся после решетки (#). Ставя решетку мы показываем роботу, что это просто комментарий и не стоит его воспринимать как какую-либо команду.

Так вот, последняя директива называется «Sitemap». И здесь мы должны указать ссылку на нашу карту сайта. Где ее взять вы уже в курсе. У меня указана ссылка на мою карту сайта. Вы ставите свою.

Как добавить файл Robots в Яндекс Вебмастер?

Для этого у нас есть инструмент в настройках плагина «Yoast SEO». Копируем все содержимое файла Robots — и далее переходим в админку. В меню админке нажимаем: «Yoast SEO», “Инструменты”, вкладка “Редактор файлов».

Самым первым как раз и будет редактор файла «Robots». Вставляем сюда содержимое нашего файла и нажимаем «сохранить изменения».

Далее — переходим в Вебмастер и проверяем следует ли Яндекс указанным в файле инструкциям. Для этого в меню выбираем «инструменты», «анализ robots.txt».

Ждём когда система подгрузит файл и нажимаем кнопку «Проверить».

Делее — и убеждаемся, что все строки в файле соответствуют тому, что мы скопировали и вставили в редактор файлов «Yoast SEO».

Итог.

Поздравляю всех начинающих вебмастеров с добавлением Вашего сайта в Яндекс. В интерфейсе Яндекс Вебмастер вы можете использовать много других различных инструментов для улучшения вашего сайта. Так же Вебмастер будет периодически присылать сообщения о том какие ошибки на сайте можно исправить. С Яндексом пока всё. Необходимый минимум выполнен. На следующем уроке добавим наш сайт в Google, это и будет последний урок по оптимизации. И вскоре уже приступим к созданию портфолио, лэндингов и интернет магазинов на нашем движке WordPress. Будет полезно и увлекательно, пожалуйста не пропустите! Всем успехов и процветания, до новых встреч!