Ускоряем индексацию сайта

Как ускорить индексацию сайта.

Один из обязательных файлов для индексации страниц вашего сайта является файл Robots.txt. Для того, чтобы посмотреть, как он настроен на вашем сайте, вводите свое доменное имя, а потом сам файл. Например, у меня так: https://my-busines.ru/robots.txt

  • User-agent: * — звездочка обозначает, что индексировать всем поисковым системам;
  • Crawl-delay: 4 – миллисекунды на задержку поискового бота на странице;
  • Disallow:  – запрещенные страницы к индексации (те страницы, которые не нужно индексировать, например админка сайта);
  • Host: — доменное имя;
  • Sitemap: — карта сайта для поисковиков.

Проблемы могут легко возникнуть именно из-за этого файла. Например, мы сами того не зная, можем запрещать поисковым системам индексировать наши страницы. Так, что лучше проверить.
Мы видим, что с помощью файла Robots.txt можем частично повлиять на индексацию нашего сайта поисковыми системами и даже ускорить ее. Поэтому важно правильно его настраивать. Можно с помощью блокнота прописать настройки и залить на хостинг.
Заходим в файловый менеджер, у меня папка Public_html, в ней находиться файл Robots.txt , меняем его на вновь созданный и все. Эта операция довольно простая, но важно не забывать, перед этим делать копию меняемого файла. Все, что мы редактируем, сначала копируем, так на всякий пожарный.

П.С. Для развития вашего сайта советую прочитать мою предыдущую статью «Как получить много комментариев«.

П.П.С. Если у вас остались вопросы, задавайте их в комментариях. Также советую получать свежие статьи на e-mail, чтобы не пропустить информацию о новых бесплатных видеокурсах, уроках и новых интересных статьях. И «Даприбудут Наши Сайты в ТОП».

С уважением, Валерий Москаленко


Чтобы написать эту статью, мы потратили много времени и сил. Мы очень старались и если статья оказалась полезной, пожалуйста оцените наш труд. Нажмите и поделитесь с друзьями в соц. сетях - это будет лучшей благодарностью для нас и мотивацией на будущее!

Введите свой Email и подпишитесь на новости сайта:


Поделитесь с друзьями в соц. сетях
Предыдущие статьи из этой же рубрики (откроются в новом окне):
  1. Как получить много комментариев
  2. Как увеличить количество просмотров страниц
  3. Посетители на сайт бесплатно
  4. Проведение конкурсов на сайте
  5. Формирование целевой аудитории



28 комментариев

  • Спасибо за информацию, я об этом слышала, но не придала значения, наверно зря.

  • Михаил Вайзбург

    Правильно настроенны

  • Михаил Вайзбург

    один раз правильно настроить специально для роботови всё будет в порядке

  • Да от настройки этого файла очень сильно зависит индексация.

  • А у меня всё это почему-то в двойном экземпляре, причём, в первом варианте User-agent: * а во втором User-agent: Yandex и ещё в обоих вариантах Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /*?*

    Это не слишком много?
    А хост только во втором варианте. Так и должно быть?

    • admin Валерий

      Да Юлия, у Вас все правильно. В школе Твой старт нам дали правильные настройки.

      • Валерий, здравствуйте.
        Возникла проблема с robotsом. Я тоже, как и многие, начинала с уроков в «твоем старте», но Ваши уроки для меня оказались более понятными. Спасибо.
        Тем не менее с данным файлом возникли трудности. Все делаю, как у Вас в уроке, но после проверки, установился ли файл на сайте, в окне по ссылке «название сайта/robots.txt» не появляется текст файла. То есть появляется все то же, что и до установки robotsа:
        User-agent: *
        Disallow: /wp-admin/
        Disallow: /wp-includes/
        (в файловом менеджере, тем не менее, все в порядке: файл есть, открывается для редактирования, название сайта в соответстующих строках изменены). В чем может быть проблема?
        И еще вопрос:
        Текст Вашего файла и файла, полученного ранее, немного отличаются:
        1. (Из твоего старта:
        User-agent: *
        Disallow: /wp-login.php
        Disallow: /wp-register.php
        Disallow: /feed/
        Disallow: /cgi-bin
        Disallow: /wp-admin
        Disallow: /wp-includes
        Disallow: /wp-content/plugins
        Disallow: /wp-content/cache
        Disallow: /wp-content/themes
        Disallow: /trackback
        Disallow: */comments
        Disallow: /category/*/*
        Disallow: */trackback
        Disallow: */*/trackback
        Disallow: */*/feed/*/
        Disallow: */feed
        Disallow: /*?*
        Disallow: /?s=

        User-agent: Yandex
        Disallow: /wp-login.php
        Disallow: /wp-register.php
        Disallow: /feed/
        Disallow: /cgi-bin
        Disallow: /wp-admin
        Disallow: /wp-includes
        Disallow: /wp-content/plugins
        Disallow: /wp-content/cache
        Disallow: /wp-content/themes
        Disallow: /trackback
        Disallow: */comments
        Disallow: /category/*/*
        Disallow: */trackback
        Disallow: */*/trackback
        Disallow: */*/feed/*/
        Disallow: */feed
        Disallow: /*?*
        Disallow: /?s=
        Host: адрес сайта

        Он вообще у меня почему-то не открывался для редактирования — сообщалось, что указанный путь неверный»… И что значат эти строчки:
        Disallow: /wp-login.php
        Disallow: /wp-register.php
        Disallow: /feed/?

  • Вы абсолютно правы, этот файл нужно обязательно создать, если нет, и грамотно отредактировать.

  • Отредактировала я файл, но что-то не так. Может где лишний пробел поставила? Как проверить?

    • admin Валерий

      Татьяна, Вы можете таким образом посмотреть любой сайт и сравнить. Тут проверять нечего, нужно один раз настроить и больше к нему не возвращаться.

  • Индексация сайта — фраза понятная каждому блоггеру и в тоже самое время, для простого обывателя это темный лес.

  • Что такое индексация сайта в поисковых системах сейчас известно многим веб-мастерам. Они с нетерпением ожидают обновления поисковой базы, чтобы порадоваться результатам индексации или найти и исправить ошибки, которые мешают качественной индексации и всей дальнейшей раскрутке сайта.

  • Отличная статья, спасибо за информацию, робот стоял, но никогда его не проверял, теперь знаю как

  • Спасибо! Я проверил, у меня вроде все нормально. Но яндекс, собака, все равно не индексирует…

    • admin Валерий

      Да, Яндекс меня тоже не хочет индексировать. Я недавно менял настройки тегов h1 может это сработает. На днях выложу статью на эту тему.

  • Виктор Муратов

    Совет простой, но очень действенный и актуальный для многих.

  • Да, очень важный файл, необходимо правильно его настраивать

  • у меня этот айл имеет следующий вид:

    User-agent: *
    Disallow: /wp-admin/
    Disallow: /wp-includes/

    мне его надо дорабатывать, как у Вас на сайте? или вполне достаточно этого?
    и еще вопрос: почему у Вас дублируются настройки отдельно для яндекса и почему только для него указывается хост?

    • admin Валерий

      Владимир, хост у меня не указан отдельно. У Вас, если нету надо указать. Для Яндекса не обязательно прописывать отдельно. Эти настройки давались в школе Твой старт. Я их просто проанализировал.

  • Поставила галочку чтоб получать уведомления на почту по комментариям на эту статью. А как теперь отписаться от них не знаю. Можете помочь?

  • Владимир! У меня проблемы с индексацией. Сначала установила robots как в СтартАп. Индексируется только одна статья. Потом мне подсказали, что ссылки моих страниц идут со знаком ?. А я запрещала все статьи с ?. Я убрала из robots запрещение, но индексации нет.

  • Здравствуйте, Валерий! Где можно скопировать настройки robots.txt и как их установить на хостинг Джино..? Помогите, если такое возможно… Спасибо!

  • Я в ручную скопировал, как на видео. Правильно..?

    User-agent: *
    Crawl-delay: 4
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /*?*

    User-agent: Yandex
    Crawl-delay: 4
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /*?*
    Host: адрес сайта

    Возможно ли эти настройки установить на хостинг Джино и как..? Спасибо!

  • Валерий, сделала все по уроку, но на сайте ничего не изменилось: как были 4 строчки, так и остались. В чем может быть проблема?

  • Валерий,в настоящее время прохожу Ваш курс.При попытке зайти на мойсайт.ru/robots.txt выдаёт:

    Not Found

    The requested URL /robots.txt/ was not found on this server.

    Additionally, a 404 Not Found error was encountered while trying to use an ErrorDocument to handle the request.

    А файл существует — проверял и через cPanel и через Total…
    Подскажите,плз,что нужно сделать.Спасибо.

Добавить комментарий для Ольга Отменить ответ

Ваш адрес email не будет опубликован. Обязательные поля помечены *