|
div.main {margin-left: 20pt; margin-right: 20pt}
Руководство для web-мастеров
по мета-тэгу для роботов
(Robots META tag) Robots META tag - простой способ указать
посещающему Web-роботу что должна ли страница быть проиндексирована или
должен ли он проследовать по ссылкам на странице.
В отличие от протокола исключений для
роботов (robots.txt) Вы не будете напрягать Web - администратора или
требовать от него выдачи соответствующих прав.
Внимание: в данный момент не все роботы
поддерживают Robots META tag!
Где размещать Robots META tag Как и любой META tag он должен быть
размещён в разделе HEAD HTML-страницы:
<html>
<head>
<meta name="robots" content="noindex,nofollow">
<meta name="description" content="Руководство для web-мастеров....">
<meta name="keywords" content = "Robots, meta, tag....">
<title>Руководство для web-мастеров...</title>
</head>
<body>
...
Что размещать в Robots META tag
Поле content для Robots META tag содержит директивы,
разделяемые запятыми. В данный момент определены следующие директивы:
[NO]INDEX и [NO]FOLLOW. Директива INDEX определяет, должен ли робот
индекировать страницу. Директива FOLLOW должен ли робот проследовать по
ссылкам на странице По умолчанию заданы INDEX и FOLLOW. Значения ALL и
NONE включают или выключают директивы: ALL=INDEX,FOLLOW и
NONE=NOINDEX,NOFOLLOW. Несколько примеров:
<meta name="robots" content="index,follow">
<meta name="robots" content="noindex,follow">
<meta name="robots" content="index,nofollow">
<meta name="robots" content="noindex,nofollow">
Обратите внимание, что значение полей name ("robots") и content не
чувствительны к регистру.
Вы не должны определять конфликтующие или дублирующие
директивы, например так:
<meta name="robots" content="INDEX,NOINDEX,NOFOLLOW,FOLLOW,FOLLOW">
Формальный синтаксис поля content для the Robots META tag:
content = all | none | directives
all = "ALL"
none = "NONE"
directives = directive ["," directives]
directive = index | follow
index = "INDEX" | "NOINDEX"
follow = "FOLLOW" | "NOFOLLOW"
Перевод с The Web
Robots Pages
| 
