Ускоряем индексацию сайта

Как ускорить индексацию сайта.

Один из обязательных файлов для индексации страниц вашего сайта является файл Robots.txt. Для того, чтобы посмотреть, как он настроен на вашем сайте, вводите свое доменное имя, а потом сам файл. Например, у меня так: http://my-busines.ru/robots.txt

  • User-agent: * - звездочка обозначает, что индексировать всем поисковым системам;
  • Crawl-delay: 4 – миллисекунды на задержку поискового бота на странице;
  • Disallow:  – запрещенные страницы к индексации (те страницы, которые не нужно индексировать, например админка сайта);
  • Host: - доменное имя;
  • Sitemap: - карта сайта для поисковиков.

Проблемы могут легко возникнуть именно из-за этого файла. Например, мы сами того не зная, можем запрещать поисковым системам индексировать наши страницы. Так, что лучше проверить.
Мы видим, что с помощью файла Robots.txt можем частично повлиять на индексацию нашего сайта поисковыми системами и даже ускорить ее. Поэтому важно правильно его настраивать. Можно с помощью блокнота прописать настройки и залить на хостинг.
Заходим в файловый менеджер, у меня папка Public_html, в ней находиться файл Robots.txt , меняем его на вновь созданный и все. Эта операция довольно простая, но важно не забывать, перед этим делать копию меняемого файла. Все, что мы редактируем, сначала копируем, так на всякий пожарный.

П.С. Для развития вашего сайта советую прочитать мою предыдущую статью "Как получить много комментариев".

П.П.С. Если у вас остались вопросы, задавайте их в комментариях. Также советую получать свежие статьи на e-mail, чтобы не пропустить информацию о новых бесплатных видеокурсах, уроках и новых интересных статьях. И «Даприбудут Наши Сайты в ТОП».

С уважением, Валерий Москаленко

Подпишись на Обновления!

Введите Адрес Своего Email:

Чтобы всегда быть в курсе свежих новостей

Подпишитесь на рассылку специальных предложений:
Ваш e-mail: *
Ваше имя: *
Присоединяйся в группы на subscribe
Бесплатное обучение

Friend me:

Комментарии оставленные для “Ускоряем индексацию сайта

  1. Юлия

    А у меня всё это почему-то в двойном экземпляре, причём, в первом варианте User-agent: * а во втором User-agent: Yandex и ещё в обоих вариантах Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /*?*

    Это не слишком много?
    А хост только во втором варианте. Так и должно быть?

      • Татьяна

        Валерий, здравствуйте.
        Возникла проблема с robotsом. Я тоже, как и многие, начинала с уроков в “твоем старте”, но Ваши уроки для меня оказались более понятными. Спасибо.
        Тем не менее с данным файлом возникли трудности. Все делаю, как у Вас в уроке, но после проверки, установился ли файл на сайте, в окне по ссылке “название сайта/robots.txt” не появляется текст файла. То есть появляется все то же, что и до установки robotsа:
        User-agent: *
        Disallow: /wp-admin/
        Disallow: /wp-includes/
        (в файловом менеджере, тем не менее, все в порядке: файл есть, открывается для редактирования, название сайта в соответстующих строках изменены). В чем может быть проблема?
        И еще вопрос:
        Текст Вашего файла и файла, полученного ранее, немного отличаются:
        1. (Из твоего старта:
        User-agent: *
        Disallow: /wp-login.php
        Disallow: /wp-register.php
        Disallow: /feed/
        Disallow: /cgi-bin
        Disallow: /wp-admin
        Disallow: /wp-includes
        Disallow: /wp-content/plugins
        Disallow: /wp-content/cache
        Disallow: /wp-content/themes
        Disallow: /trackback
        Disallow: */comments
        Disallow: /category/*/*
        Disallow: */trackback
        Disallow: */*/trackback
        Disallow: */*/feed/*/
        Disallow: */feed
        Disallow: /*?*
        Disallow: /?s=

        User-agent: Yandex
        Disallow: /wp-login.php
        Disallow: /wp-register.php
        Disallow: /feed/
        Disallow: /cgi-bin
        Disallow: /wp-admin
        Disallow: /wp-includes
        Disallow: /wp-content/plugins
        Disallow: /wp-content/cache
        Disallow: /wp-content/themes
        Disallow: /trackback
        Disallow: */comments
        Disallow: /category/*/*
        Disallow: */trackback
        Disallow: */*/trackback
        Disallow: */*/feed/*/
        Disallow: */feed
        Disallow: /*?*
        Disallow: /?s=
        Host: адрес сайта

        Sitemap: http://адрес сайта/sitemap.xml.gz
        Sitemap: http://адрес сайта/sitemap.xml

        Он вообще у меня почему-то не открывался для редактирования – сообщалось, что указанный путь неверный”… И что значат эти строчки:
        Disallow: /wp-login.php
        Disallow: /wp-register.php
        Disallow: /feed/?

    • admin Валерий

      Татьяна, Вы можете таким образом посмотреть любой сайт и сравнить. Тут проверять нечего, нужно один раз настроить и больше к нему не возвращаться.

  2. Что такое индексация сайта в поисковых системах сейчас известно многим веб-мастерам. Они с нетерпением ожидают обновления поисковой базы, чтобы порадоваться результатам индексации или найти и исправить ошибки, которые мешают качественной индексации и всей дальнейшей раскрутке сайта.

    • admin Валерий

      Да, Яндекс меня тоже не хочет индексировать. Я недавно менял настройки тегов h1 может это сработает. На днях выложу статью на эту тему.

  3. Владимир

    у меня этот айл имеет следующий вид:

    User-agent: *
    Disallow: /wp-admin/
    Disallow: /wp-includes/

    Sitemap: http://students-life.ru/sitemap.xml.gz

    мне его надо дорабатывать, как у Вас на сайте? или вполне достаточно этого?
    и еще вопрос: почему у Вас дублируются настройки отдельно для яндекса и почему только для него указывается хост?

    • admin Валерий

      Владимир, хост у меня не указан отдельно. У Вас, если нету надо указать. Для Яндекса не обязательно прописывать отдельно. Эти настройки давались в школе Твой старт. Я их просто проанализировал.

  4. Татьяна

    Поставила галочку чтоб получать уведомления на почту по комментариям на эту статью. А как теперь отписаться от них не знаю. Можете помочь?

  5. Ольга

    Владимир! У меня проблемы с индексацией. Сначала установила robots как в СтартАп. Индексируется только одна статья. Потом мне подсказали, что ссылки моих страниц идут со знаком ?. А я запрещала все статьи с ?. Я убрала из robots запрещение, но индексации нет. http://www.domsovet2.ru

  6. Анатолий

    Здравствуйте, Валерий! Где можно скопировать настройки robots.txt и как их установить на хостинг Джино..? Помогите, если такое возможно… Спасибо!

  7. Анатолий

    Я в ручную скопировал, как на видео. Правильно..?

    User-agent: *
    Crawl-delay: 4
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /*?*

    User-agent: Yandex
    Crawl-delay: 4
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /*?*
    Host: адрес сайта

    Sitemap: http://адрес сайта/sitemap.xml.gz
    Sitemap: http://адрес сайта/sitemap.xml

    Возможно ли эти настройки установить на хостинг Джино и как..? Спасибо!

  8. Елена

    Валерий, сделала все по уроку, но на сайте ничего не изменилось: как были 4 строчки, так и остались. В чем может быть проблема?

  9. Олег

    Валерий,в настоящее время прохожу Ваш курс.При попытке зайти на мойсайт.ru/robots.txt выдаёт:

    Not Found

    The requested URL /robots.txt/ was not found on this server.

    Additionally, a 404 Not Found error was encountered while trying to use an ErrorDocument to handle the request.

    А файл существует – проверял и через cPanel и через Total…
    Подскажите,плз,что нужно сделать.Спасибо.

Оставить комментарий

Ваш email не будет опубликован. Обязательные поля отмечены *

Вы можете использовать это HTMLтеги и атрибуты: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>