Глубина и обьем индексации

Достаточно интересным является вопрос: на сколько «глубоко» поисковая система при индексации нового сайта «забирается» внутрь него? Исследует ли она полностью все его содержимое или же ограничивается «изучением» всего нескольких документов сайта?

Теоретически ограничений для глубины «проникновения» в структуру сайта для поисковика нет. Однако на практике, как подсказывает здравый смысл, поисковой робот не станет скачивать с вашего сайта все или абсолютно все его страницы, так как на очередь в индексацию стоят еще тысячи и миллионы других сайтов. Именно поэтому, за один раз поисковой робот «старается» взять определенное количество страниц, которые дают как можно более точную и содержательную информацию о конкретном сайте. В следующий раз (в очередной цикл индексации) поисковой робот «возьмет» к себе в индексную базу еще какое-то количество страниц и так далее. Чтобы не брать каждый раз слишком много, поисковик «пытается» не погружаться по ссылкам сайта чересчур далеко.

То есть другими словами, индексация большинстве случаев – это поверхностный осмотр поисковой системой вашего сайта. Детальный же комплексный «просмотр» сайта поисковиком может состояться тогда, когда у системы «подозревает» создателей сайта в несанкционированных с ее точки зрения действиях (например, при осуществлении так называемой «черной оптимизации» сайта при которой происходит продвижение сайта в тематических топах запрещенными способами и методами). Все это говорит в пользу того, что структура и содержимое сайта должны быть осуществлено максимально грамотно.

Так желательно исключать из сайта страницы, по которым добраться можно только лишь по цепочке из как минимум десяти ссылок. Важно понимать, что индексация необходима еще и для того, что бы регулярно осуществлять проверку сайтов на такого рода грамотность. И если в содержании или структуре сайта будет возникать несоответствующие правилам поисковиков документы или ссылки, то уровень его авторитетности в пространстве сети будет падать.