Поисковый робот обходит большой сайт и отдаёт приоритет ценным страницам

Почему нет жёсткого лимита индексации

В новой версии серии видео #AskGooglebot представитель компании Google Джон Мюллер заявил, что Google не лимитирует число проиндексированных страниц, если они находятся в рамках одного сайта.

Данное заявление было ответом на вопрос: "Есть ли предел количеству веб-страниц, которые Google может проиндексировать на одном сайте?".

Джон Мюллер на это ответил, что как такового лимита нет, а потом более подробно рассказал о принципиальных различиях между динамическим и статическим контентом относительно приоритетов индексации:

1. Для Google нет никакой разницы между динамическими и статическими страницами, поскольку она не видит разницы между ними. Ничего не меняет даже тот факт, что нередко сайты добавляют расширение .html, желая выдать одни страницы за другие. 

2. У Google нет совершенно никаких ограничений на индексацию,  однако при этом есть желание сосредоточить больше ресурсов там, где они целесообразны. Пример — страницы нового крупного сайта, которых наверняка сотни тысяч или даже миллионы, Google точно не станет индексировать все и сразу. Причина в том, что система пока не имеет представления о ценности размещенного там контента как для отдельного пользователя, та и для интернета в целом.

Если же это достаточно известный сайт с доказанной ценностью размещенного контента, то его страницы поисковиком будут индексироваться намного быстрее и в большем количестве.