Разрешим поисковым машинам проиндексировать ваш сайт. "Хотя это звучит действительно просто, но вы должны платить за использование Интернет сервисов", - сказал Matt Cutts, программист Google. "Вы не поверите, я повидал, чего народ только не делает. Если Googlebot с первого раза не смог проиндексировать вашу страницу, он повторит попытку несколькими днями позже. Случись у вашего сервера ошибка, например 500-го уровня и он просто давится, - Googlebot это переждет". Поскольку распознавание поисковиком - решающий фактор для большинства в сетевом бизнесе, владельцы веб-сайтов должны быть уверены в том, что их серверы функционируют ежедневно и круглосуточно. "Паук" поисковой машины может посетить сайт в любой момент.
Если робот, запрашивая страницу с сервера, обнаруживает отказ по какой-либо причине, - эта страница может не появиться в индексе (базе данных) поисковика, пока "паук" не посетит этот сайт снова. "Проверяйте файл robots.txt для уверенности в том, что вы позволяете Google проиндексировать ваш сайт", - сказал Cutts. Проверяйте в нем опечатки, синтаксис и отсутствие пробелов. Каждый должен иметь этот файл, даже если он пуст, - добавляет он. Cutts рекомендует также проверять синтаксис мета-тэгов. "Существует множество вариантов их использования", - объясняет он:
NOINDEX - запрещает индексировать содержание этой страницы;
NOFOLLOW - запрещает прохождение паука по ссылкам на этой странице;
NOARCHIVE - имеет для Google особенный смысл: не показывать лишь данную страницу.

Есть и другие способы управлять легкостью индексации сайта поисковиком. "Карта сайта - вот что народ все время выпускает из виду", - говорит Cutts. "Более того, представьте число сылочных уровней, которые надо преодолеть для достижения дальних страниц вашего сайта. Чем глубже вам потребуется забраться, тем сложнее и для Google найти эти страницы".
Защита паролем - способ подстраховать деликатное содержимое от просмотра поисковой машиной. "Иногда мы получаем письмо от банка или университета, сообщающее, что частная информация не предназначалась к огласке на общедоступной сети, где ее могут обнаружить люди и роботы поисковиков", - сказал Cutts. "От этого предохраняет защита паролем". Изменение структуры сайта и индексирование поисковой машиной. Если вы изменили структуру сайта, либо усовершенствовали его новой технологией, то существуют способы сообщить поисковым машинам об изменении URLов. Вебмастер может воспользоваться временной переадресацией командой 302, или постоянной - командой 301."301 и 302 относятся к небольшим общепринятым сообщениям, появляющимся всякий раз, когда субъект либо робот пытаются вновь обнаружить страницу. Это нечто сообщающее, что вы переместились со старого домена на новый", - объясняет Cutts. "Вам требуется переадресация 301 со старого домена на новый домен. Это обеспечит путь вашим посетителям непосредственно на новый сайт. И это же даст уверенность в том, вы все еще сохраняете позиции ваших ссылок в индексной базе поисковой системы." Временная переадресация 302 сообщает для Googlebot: "Ладно, на этот раз иди сюда, но попозже попробуй еще раз, потому что направление может измениться", - продолжает Cutts. "Если в дальнейшем направление действительно сохраняется, - создайте постоянную, 301 переадресацию."
Иногда вебмастер хочет изменить IP адрес. Для эффективного осуществления этого, убедитесь передполным изменением и переходом на новый IP адрес, что оба сервера предоставляют содержимое, запрашиваемое поисковиками. "По крайней мере в течении дня", - рекомендует Cutts. Большинство поисковых машин имеют собственные программы удаления URLов, которые позволяют удалять мертвые ссылки из индексной базы поисковой машины. Если вы найдете URL в индексе поисковика, который там не предполагался, то сами можете удалить его посредством заполнения формы, не связываясь с представителем потребительской службы.
По мнению Cutts, конкуренты не смогут саботировать ваш сайт, в попытках убрать страницу используя программу удаления URLа. "Что нам следует, так это в течении 2-3 дней несколько раз перепроверить, ушла ли полностью страница на сайт", - объясняет он. "Плюс к этому, у нас есть система перестраховки для подтверждения, что вы действительно требовали удаления."

Специальное сообщение с Search Engine Strategies 2003 Conference, August 18-21, San Jose, CA.
Google Webmaster Information (Информация от вебмастера Google) www.google.com/webmasters
Google Remove URL Form (Форма удаления URL от Google) www.google.com/remove.html
Robots Exclusion Protocol (Протокол исключения робота) www.robotstxt.org/wc/norobots.html