Как сделать правильный robots.txt для wordpress?

Здравствуйте, уважаемые посетители и гости моего блога! Сегодня я Вам расскажу как сделать правильный robots.txt для wordpress. Думаю многие блоггеры уже знают, что такое файл robots.txt и для чего он нужен на wordpress, да и на каждом сайте. А некоторые даже и не догадываются. Да да, есть и такие! Сначала поясню, для не знающих о файле robots.txt. А потом уже расскажу, как сделать правильный robots.txt для wordpress. Robots.txt это такой файл, который …

Что за файл robots.txt? И для чего он нужен?

Robots.txt файл это текстовый документ, который содержит набор разрешающих и запрещающих команд для робота посетившего ваш блог или сайт. Соответственно этим командам поисковый робот зашедший на ваш ресурс, будет просматривать и индексировать материал блога. Ели команды будут правильными, тогда ваш блог будет просмотрен роботом и отправлен в индекс. Ну а если прописанные команды для поискового робота неправильные, тогда робот просто покинет ваш блог, не отправив его в индекс. Это значит, что правильный robots.txt для wordpress полностью и на прямую отвечает за сео оптимизацию и раскрутку вашего блога!

Делаем правильный robots.txt для wordpress!

Сначала Вам нужно узнать, есть ли вообще у Вас на блоге файл robots.txt. Для этого перейдите в яндекс вебмастер и проделайте следующее действие, как показано на картинке:

Я проделаю эти манипуляции на примере своего блога. У меня есть файл robots.txt, если его нет тогда вам напишут об этом. Таким образом Вы можете проверить любой блог и сайт, который вам понравиться. И яндекс вебмастер сообщит вам о любом ресурсе, какой там файл robots.txt. Вы можете скопировать его себе, поменяв внизу ссылки на свои и поставить на свой блог, закачав в корневую папку блога. Но Вы рискуете ошибиться! Откуда Вы можете знать, подойдет ли этот файл robots.txt для вашего блога и правильный ли он?

Давайте разбираться и делать правильный robots.txt для wordpress.

Работа файла robots.txt основывается на трех правилах:

• Первое это выбор поискового робота для индексации ресурса
• Второе  разрешающие команды для индексации разделов блога
• Третье запрещающие команды для индексации разделов блога

Не будем мудрить и лить много воды. Вот основные команды, которые разрешают и запрещают индексацию блога для поискового робота:

User-agent: *  для всех роботов
Disallow: /запрет к индексации всех страниц
Allow: /разрешение индексировать все страницы

Что вам нужно сделать, чтобы ваш файл robots.txt был правильным. Все просто вот вам правильный robots.txt для wordpress:

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /tag
Host: ваш домен
Sitemap: ссылка на вашу карту блога

Просто вставьте свои ссылки, сохраните в формате txt, назвав его robots.txt и закачайте себе в корневую папку на блог. Все, ваш блог теперь будет содержать правильный robots.txt для wordpress!

Хотите получать свежий материал на почту первым? Подпишитесь на обновления блога!

Спасибо за внимание! Всегда ваш Валерий Бородин