Очень ценной информацией является информация о том, в каком порядке поисковая система Google исследует Ваш сайт. Обладатели этой информации могут  манипулировать краулерами Гугл, заставляя их в первую очередь посещать важные разделы сайта. Эта возможность очень полезна, для «молодых» сайтов с немалым количеством контента. Ее важность заключается в том что нужные для Вас разделы будут проиндексированы первыми.

Для того чтобы проверить как работают краулеры был проведен эксперимент: взяли новый домен и сформировали на нем страницу с 250 ссылками, которые ведут на другие страницы, на каждой с которых имеется еще 250 ссылок, и так далее, создав таким образом, так называемую, «пирамиду».  Затем через службу «addurl» сделали сабмит и стали ждать.

Во время первого визита бот гугла, зашел только на основную страницу. А затем он посетил все 250 страниц, что обнаружил на главной. Гугл делит найденные ссылки на три группы:

Группа 1: ссылки от 1 по 9

Группа 2: ссылки от 10 по 99

Группа 3: ссылки от 100 по 250.

Если бот поисковой системы Google уже посетил вашу страницу, то есть неплохие шансы, что он пройдет по ссылкам блоков. Ссылки краулируются в случайном порядке. Наибольшая вероятность того что в данный момент исследуется блок 1. Вероятность того что сейчас исследуется блок 2 в три раза меньше, и, соответственно, того что исследуется 3-й блок в шесть раз меньше. В 3-м блоке существуют две ссылки, вероятность исследования которых является существенно выше, чем в блоке 2. Эти ссылки находятся под номерами 100 и 200.

Но все равно нельзя утверждать, что появление в коде исполняется в соответствие с делением на группы (это утверждении будет преждевременным). Определяющим параметром может является: длина адреса, позиция ссылки и еще что-либо. Для исключения ошибочных утверждений, мы провели ряд экспериментов.

Разобраться помог эксперимент с использованием страниц ссылок, с разной длиной адресов,  разбросанными странице. Ссылки вели на такие же страницы, и так несколько раз. Гугл-бот проходил по ссылкам в порядке увеличения адресов. Полезная информация для продвинутой оптимизации структуры сайта!

Удачи в покорении краулера Google.

P.S. если вы хотите купить суши Киев, то компания food-service доставит Вам вкусные суши в любой уголок Киева.