Управление тем, как Google индексирует ваш контент с помощью метатегов

Существует множество поисковых систем, но большую часть времени владельцы сайтов заботятся о том, чтобы их сайт был проиндексирован всемогущим Google. Один из способов улучшить работу поисковой системы – использовать мета-теги робота.

Метатег-тег является консенсусным метатегом среди поисковых систем, таких как Google, Yahoo и Bing. Использование мета-тега позволяет веб-разработчикам контролировать доступность веб-страниц для поисковых роботов. Например, что-то вроде noindex не позволит всем роботам из поисковых систем поместить вашу веб-страницу в свой индекс.

Собственный робот Google называется Googlebot. В этом посте мы увидим, как мы обращаемся к роботу Google исключительно через метатеги.

Рекомендуемое чтение: 5 вещей, которые вы можете сделать с метатегом HTML

Обращение к Googlebot
Чтобы обратиться к роботу Google, укажите мета-имя как робот Google, а не просто робот. В этом примере робот Googlebot не сможет поместить вашу веб-страницу в свой индекс, но все же разрешит ботовам из Bing и Yahoo сканировать страницу. Таким образом, ваши веб-страницы могут по-прежнему появляться в результатах поиска Bing и Yahoo.

У Google есть ряд специальных роботов, которые сканируют различные виды контента, такие как изображения, новости, видео, реклама и мобильные устройства. Google позволяет блокировать этих роботов индивидуально. Например, если вы не хотите, чтобы ваш сайт отображался в результатах поиска Google для мобильных устройств, вы можете указать метатег тега следующим образом:

Полный список типов ботов Google можно найти в Google Crawlers Website. страница,
Запрет индексирования изображений
Это действительно раздражает, когда вы обнаружите, что ваше защищенное авторским правом изображение используется кем-то другим без вашего предварительного разрешения. Если вы хотите минимизировать это, вы можете запретить Google помещать ваши изображения в их индекс.

Укажите метатег тега со значением noimageindex. Это не позволит роботу проиндексировать все изображения на странице, и ваши изображения не будут отображаться в результатах поиска картинок Google, где люди обычно ищут изображения.

Кроме того, вы можете установить мета-имя как googlebot-image, чтобы запретить роботам Google сканировать ваш сайт в поисках изображений.

Предотвратить перевод
Google Chrome предлагает перевод сайта на иностранном языке на любимый или местный язык посетителя с помощью Google Translate. В то время как перевод Google Translate улучшается, он далеко не идеален для некоторых языков. Вывод перевода иногда может быть очень странным.

Если вы не хотите, чтобы Google переводил ваши веб-страницы, установите в метате googlebot значение notranslate, например, так.

Если вы хотите запретить перевод определенного раздела страницы, вы можете добавить класс notranslate в элемент, заключающий в себе содержимое:

Google проигнорирует это

<

div> полностью.
Запрет индексирования через указанное время
Вы также можете запретить Google индексировать ваши веб-страницы по истечении определенного периода времени. Это будет особенно полезно для веб-страниц, которые актуальны только в течение определенного периода времени, например, для страницы регистрации события.

В этом случае вы, вероятно, захотите сказать роботу не сканировать и не проиндексировать эту страницу после окончания события, что не позволит ему появляться в результатах поиска Google.

Для этого укажите метатег со значением unavailable_after, затем следует информация о времени. Формат времени должен соответствовать формату RFC-850, например: четверг, 26 сентября, 14:00, UTC.

Приведенный выше пример, робот Google не будет сканировать страницу после 29-Sep-14. Страница в конечном итоге исчезнет из индекса, но вы все равно можете сохранить страницу для архивирования на своем веб-сайте.