Как закрыть внешние, исходящие ссылки от индексации на WordPress и зачем закрывать

На просторах веб дизайна и создания кода скрытие внешних ссылок – необходимая процедура. Процесс индексации сайта включает сбор, обработку и добавление сведений о конкретном сайте в общую базу данных. Сегодня мы разберем, какие методики существуют для быстрого и безопасного сокрытия внешних ссылок от поисковых систем при индексации.

Как закрыть внешние, исходящие ссылки от индексации на WordPress

Сделать закрытыми внешние ссылки от поисковых ботов можно, используя несколько тегов и плагинов, которые легко установить на платформе Word Press. На сегодняшний день существуют следующие способы:

• использование конструкции rel=»nofollow»;
• использование ряда плагинов;
• применение тега “noindex”;
• подключение AJAX – наиболее современный метод, и он же самый оптимальный вариант.

Каждый из методов обладает достаточными преимуществами практического применения, но выделяют более современные способы, вытесняющие устаревшие теги. К сожалению, скрипты Java более не приносят ожидаемого эффекта, так как содержимое скрипта на сегодняшний день также читается поисковым ботом.

Как закрыть ссылки от индексации с помощью rel=»nofollow» или nofollow

Rel=»nofollow«

Несмотря на богатое прошлое элемента rel=»nofollow», на сегодняшний день он больше не имеет статуса тега, а является атрибутом. Какие интересные функции выполняет данный элемент:

• позволяет скрыть подозрительную для поисковых ботов информацию, включающую комментарии к блогу, ссылки на сомнительные ресурсы, тексты с большим количеством спама;
• закрытие от индексации платных ссылок, что поможет защитить сайт от блокировки;
• поднятие в рейтинге сканирования поисковыми системами. Как известно, внешние ссылки значительно увеличивают «вес» html-страницы, а их скрытие делит «вес» на меньшие составляющие.

Большим преимуществом является тот факт, что сервис Яндекс пока не умеет «читать» данный элемент.

Nofollow

Главное отличие данного элемента от предыдущего лишь в историческом аспекте: ранее элемент использовался только в качестве атрибута для тега rel. Но в некоторые моменты истории верстки html-страниц элемент приобрел иной статус – положение самостоятельного тега. Надо сказать, что функции он выполняет те же, что и его собрат атрибут.

Как скрыть контент с помощью Ajax

Иногда приходится скрывать от поисковых ботов не только внешние ссылки, но и некоторую информацию на странице. Рассмотрим, какие виды контента можно скрыть от поисковых ботов:

• ссылки на сайты партнеров;
• рекламный контент;
• часто повторяющийся текст.

Данная информация может послужить причиной временной блокировки сайта пользователя.

В чем заключается сущность работы сервиса Ajax? Главная особенность заключается в том, что контент не просто скрывается от ботов, но переводится на ресурс AJAX в виде внешнего файла, а в нужный момент подключается к сайту по запросу пользователя. Кроме того, помните, что не следует обрабатывать при помощи Ajax:

• скрипты с внешних ресурсов;
• приложения счетчики.

Опасность заключается в том, что эти программы могут перестать работать.

Блокировка индексации сайта robots.txt

К данному ресурсу обращаются чаще всего на стадии разработки сайта, когда вмешательство поисковых систем крайне нежелательно. Далее представлена подробная инструкция, как блокировать индексацию сайта при помощи robots.txt:

• в корне сайта необходимо создать текстовый файл robots.txt и прописать в нем строки, позволяющие скрыть все ссылки от любого поискового бота (защита предназначена для всех видов браузеров);
• форма записи для проведения операции скрытия информации: «Users-agens:*\ Disallow»;
• в последнем разделе после двоеточия вы указываете тип скрываемой информации: папка, отдельный файл в Яндекс, картинку или второй домен.

Для каждой поисковой системы задано свое имя, к которому вы обращаетесь, вводя его наименование в разделе Disallow.

Зачем закрывать ссылки от индексации

Одну причину скрытия внешних ссылок мы уже рассмотрели ранее. Однако, на практике можно столкнуться и еще с одной задачей защиты контента. Наличие ссылок на внешние ресурсы значительно увеличивает вес html-страницы за счет дополнительного контента стороннего сайта, а это означает низкую скорость загрузки и медленную работу веб ресурса. Принцип защиты от индексации заключается в сокрытии истинного веса html-страницы различными путями (запрет перехода по ссылкам, отведение информации на отдельные файлы).

Как проверить закрыта ли страница от индексации

Итак, вы воспользовались одним из методов скрытия внешних ссылок или скрыли контент от поисковых ботов. Как теперь убедиться, что операция произведена правильно, а файл robots.txt в корневой папке файла выполняет свою прямую функцию? Разберем последовательность действий на примере браузера Яндекс:

• откроем главную страницу сервиса Яндекс Вебмастер;
• найдем раздел «Инструменты». Для тех, кто не знаком с этой опцией, искать необходимо в правом верхнем углу на панели инструментов;
• в открывшемся функциональном окне выбираем графу «Проверка ответа сервера»;
• в поле «Опрашиваемый URL» вводим URL адрес той страницы, которую вы скрыли от индексации;
• нажимаем на кнопку «Проверить» и ждем ответа;
• положительный результат – это ответ сервиса в виде записи «Данный URL запрещен к индексированию в файле robots.txt».

Все, проверка прошла успешно и показала, что все ваши действия были правильными.

Что будет если закрыть индексацию

Несмотря на обилие подробных инструкций по производству выборочной индексации, многие пользователи и начинающие веб дизайнеры производят скрытие контента неправильно. Это понятно, ведь гораздо легче одним действием защитить от поисковых ботов весь сайт, чем по одиночке защищать конкретный файл или внешнюю ссылку. Но, давайте посмотрим, к чему может привести подобная ситуация:

• если поисковой системе закрыт доступ абсолютно ко всему контенту, то бот попросту туда не попадет. При повторяющихся эпизодах траст сайта постепенно сходит на убыль;
• снижается скорость загрузки страниц. Причина – та же самая, что и в примере, рассмотренном ранее;
• если при защите ссылок или контента, пользователь случайно закрыл ключи, впоследствии сайт может быть исключен из поиска. Причиной станет наложение фильтров поисковыми ботами;
• скрытие контента – это меньший поток информации, а соответственно, редкие посещения поисковых систем.

Защита от индексации может быть полезна для верстальщиков html-страниц на начальных этапах работы, когда вмешательство поискового бота может нарушить процесс создания сайта. Однако, чрезмерное увлечение защитными механизмами может резко снизить эффективную деятельность ресурса.