Ускоряем индексацию сайта
Как ускорить индексацию сайта.
Один из обязательных файлов для индексации страниц вашего сайта является файл Robots.txt. Для того, чтобы посмотреть, как он настроен на вашем сайте, вводите свое доменное имя, а потом сам файл. Например, у меня так: https://my-busines.ru/robots.txt
- User-agent: * — звездочка обозначает, что индексировать всем поисковым системам;
- Crawl-delay: 4 – миллисекунды на задержку поискового бота на странице;
- Disallow: – запрещенные страницы к индексации (те страницы, которые не нужно индексировать, например админка сайта);
- Host: — доменное имя;
- Sitemap: — карта сайта для поисковиков.
Проблемы могут легко возникнуть именно из-за этого файла. Например, мы сами того не зная, можем запрещать поисковым системам индексировать наши страницы. Так, что лучше проверить.
Мы видим, что с помощью файла Robots.txt можем частично повлиять на индексацию нашего сайта поисковыми системами и даже ускорить ее. Поэтому важно правильно его настраивать. Можно с помощью блокнота прописать настройки и залить на хостинг.
Заходим в файловый менеджер, у меня папка Public_html, в ней находиться файл Robots.txt , меняем его на вновь созданный и все. Эта операция довольно простая, но важно не забывать, перед этим делать копию меняемого файла. Все, что мы редактируем, сначала копируем, так на всякий пожарный.
П.С. Для развития вашего сайта советую прочитать мою предыдущую статью «Как получить много комментариев«.
П.П.С. Если у вас остались вопросы, задавайте их в комментариях. Также советую получать свежие статьи на e-mail, чтобы не пропустить информацию о новых бесплатных видеокурсах, уроках и новых интересных статьях. И «Даприбудут Наши Сайты в ТОП».
С уважением, Валерий Москаленко
Маркетолог, вебмастер, блогер с 2011 года. Люблю WordPress, Email маркетинг, Camtasia Studio, партнерские программы)) Создаю сайты и лендинги под ключ НЕДОРОГО. Обучаю созданию и продвижению (SEO) сайтов в поисковых системах. Мои контакты >>>
Чтобы написать эту статью, мы потратили много времени и сил. Мы очень старались и если статья оказалась полезной, пожалуйста оцените наш труд. Нажмите и поделитесь с друзьями в соц. сетях - это будет лучшей благодарностью для нас и мотивацией на будущее!
Спасибо за информацию, я об этом слышала, но не придала значения, наверно зря.
Правильно настроенны
один раз правильно настроить специально для роботови всё будет в порядке
Да от настройки этого файла очень сильно зависит индексация.
А у меня всё это почему-то в двойном экземпляре, причём, в первом варианте User-agent: * а во втором User-agent: Yandex и ещё в обоих вариантах Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Это не слишком много?
А хост только во втором варианте. Так и должно быть?
Да Юлия, у Вас все правильно. В школе Твой старт нам дали правильные настройки.
Валерий, здравствуйте.
Возникла проблема с robotsом. Я тоже, как и многие, начинала с уроков в «твоем старте», но Ваши уроки для меня оказались более понятными. Спасибо.
Тем не менее с данным файлом возникли трудности. Все делаю, как у Вас в уроке, но после проверки, установился ли файл на сайте, в окне по ссылке «название сайта/robots.txt» не появляется текст файла. То есть появляется все то же, что и до установки robotsа:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
(в файловом менеджере, тем не менее, все в порядке: файл есть, открывается для редактирования, название сайта в соответстующих строках изменены). В чем может быть проблема?
И еще вопрос:
Текст Вашего файла и файла, полученного ранее, немного отличаются:
1. (Из твоего старта:
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /?s=
User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /?s=
Host: адрес сайта
Он вообще у меня почему-то не открывался для редактирования — сообщалось, что указанный путь неверный»… И что значат эти строчки:
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/?
Вы абсолютно правы, этот файл нужно обязательно создать, если нет, и грамотно отредактировать.
Отредактировала я файл, но что-то не так. Может где лишний пробел поставила? Как проверить?
Татьяна, Вы можете таким образом посмотреть любой сайт и сравнить. Тут проверять нечего, нужно один раз настроить и больше к нему не возвращаться.
Индексация сайта — фраза понятная каждому блоггеру и в тоже самое время, для простого обывателя это темный лес.
Что такое индексация сайта в поисковых системах сейчас известно многим веб-мастерам. Они с нетерпением ожидают обновления поисковой базы, чтобы порадоваться результатам индексации или найти и исправить ошибки, которые мешают качественной индексации и всей дальнейшей раскрутке сайта.
Отличная статья, спасибо за информацию, робот стоял, но никогда его не проверял, теперь знаю как
Спасибо! Я проверил, у меня вроде все нормально. Но яндекс, собака, все равно не индексирует…
Да, Яндекс меня тоже не хочет индексировать. Я недавно менял настройки тегов h1 может это сработает. На днях выложу статью на эту тему.
Совет простой, но очень действенный и актуальный для многих.
Да, очень важный файл, необходимо правильно его настраивать
у меня этот айл имеет следующий вид:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
мне его надо дорабатывать, как у Вас на сайте? или вполне достаточно этого?
и еще вопрос: почему у Вас дублируются настройки отдельно для яндекса и почему только для него указывается хост?
Владимир, хост у меня не указан отдельно. У Вас, если нету надо указать. Для Яндекса не обязательно прописывать отдельно. Эти настройки давались в школе Твой старт. Я их просто проанализировал.
Поставила галочку чтоб получать уведомления на почту по комментариям на эту статью. А как теперь отписаться от них не знаю. Можете помочь?
Татьяна, в самом письме должно быть — отписаться.
Владимир! У меня проблемы с индексацией. Сначала установила robots как в СтартАп. Индексируется только одна статья. Потом мне подсказали, что ссылки моих страниц идут со знаком ?. А я запрещала все статьи с ?. Я убрала из robots запрещение, но индексации нет.
Здравствуйте, Валерий! Где можно скопировать настройки robots.txt и как их установить на хостинг Джино..? Помогите, если такое возможно… Спасибо!
Анатолий, вот https://my-busines.ru/robots.txt
устанавливаем в корневую папку сайта.
Я в ручную скопировал, как на видео. Правильно..?
User-agent: *
Crawl-delay: 4
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
User-agent: Yandex
Crawl-delay: 4
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Host: адрес сайта
Возможно ли эти настройки установить на хостинг Джино и как..? Спасибо!
какой хостинг значения не имеет, делайте все по уроку.
Валерий, сделала все по уроку, но на сайте ничего не изменилось: как были 4 строчки, так и остались. В чем может быть проблема?
Валерий,в настоящее время прохожу Ваш курс.При попытке зайти на мойсайт.ru/robots.txt выдаёт:
Not Found
The requested URL /robots.txt/ was not found on this server.
Additionally, a 404 Not Found error was encountered while trying to use an ErrorDocument to handle the request.
А файл существует — проверял и через cPanel и через Total…
Подскажите,плз,что нужно сделать.Спасибо.