Одна из основных целей владельца любого сайта – ускорить и улучшить индексацию контента, размещенного на его страницах (обычно речь идет о текстовых статьях и публикациях). Это нужно делать для того, чтобы новые статьи как можно быстрее попадали в базу данных поисковика и были доступны в поисковой выдаче при вводе пользователем соответствующих запросов.
Некоторые вебмастера (в основном, начинающие) считают, что контент на сайте становится доступным для поиска сразу же после его публикации. Конечно, в действительности это не так. Для того чтобы новые статьи попали в индекс поисковой системы, страница должна быть посещена индексирующим роботом, который работает по довольно интересной схеме.
Обычно робот попадает на сайт либо по каким-то внешним ссылкам, к примеру, с других ресурсов, либо по предварительному запросу вебмастера. Во втором случае человек должен зарегистрировать свой сайт в соответствующем сервисе поисковой системы (Яндекс.Вебмастер, Инструменты для вебмастеров от Гугла и т.д.) и ждать, пока придет его очередь на индексацию. Обычно так делают с новыми сайтами, которые еще неизвестны поисковику. После того, как робот зайдет на страницу, он начинает ее парсить – считывать и анализировать HTML-код, обращая первоочередное внимание на текстовый контент и ссылки. Если контент размещен на странице каким-то нестандартным способом, к примеру, поверх изображения или во flash-контейнере, то, скорее всего, он останется непроиндексированным.
Если все хорошо, то страница заносится в индекс поисковой системы вместе со всем размещенным на ней контентом. Если в контенте содержатся ссылки, к примеру, на другие страницы этого ресурса, то робот переходит и по ним, выполняя все описанные выше действия еще раз (парсинг, проверку, занесение в базу данных, дальнейший переход по найденным ссылкам). При этом учитывается глубина сайта — количество уровней вложенности страниц и общее число внутренних ссылок. Если их будет слишком много, то робот вряд ли перейдет по всем. Остальные с большой долей вероятности будут проиндексированы при следующем посещении сайта.
При первом посещении страницы робот практически всегда заносит ее в базу данных поисковой системы. При последующих посещениях (через несколько дней или недель) происходит лишь фиксация изменений. То есть, если вы правили данную статью, то ее новая версия заменит старую.
Частота посещения сайта роботом зависит от множества факторов. Во-первых, от поисковой системы. Здесь идут в расчет индивидуальные особенности того или иного поисковика, его политика по отношению к сайтам и т.д. Во-вторых, от объема и качества внешней ссылочной массы. Чем больше внешних ссылок ведет на сайт, чем больший вес они имеют и чем чаще появляются, тем охотнее робот будет сюда заглядывать. В-третьих, от частоты обновления контента (основной фактор). Чем чаще на сайт добавляются новые статьи и публикации, тем чаще сюда будет заходить поисковый робот.
Исходя из перечисленных выше факторов, можно дать полезные советы по ускорению индексации.
Совет №1 – грамотно увеличивайте число внешних ссылок на ресурс.
Совет №2 – чаще обновляйте контент. Если нет сил / времени писать статьи самостоятельно, то можно нанять копирайтера или купить контент на бирже.
Совет №3 – не создавайте дополнительных препятствий для индексации страниц (текст поверх изображения, текст скрытый во flash или javascript и т.д.).
Совет №4 – используйте карту сайта. Это специальный XML-файл со списком ссылок на все страницы ресурса, который «скармливается» сервисам поисковых систем (Яндекс.Вебмастер, Инструменты для вебмастеров Google и т.д.).
