Google рекомендует не использовать файл robots.txt для блокировки индексации URL с параметрами

«Для блокирования индексации URL с параметрами не стоит пользоваться robot.txt», - такое заявление сделал сотрудник Google Джон Мюллер. В противном случае есть вероятность потерять все преимущества от ссылок на эти страницы, ведь данный метод блокировки не позволит поисковой системе осуществить канонизацию URL.

Какие альтернативы предлагают нам специалисты? Использование внутренних ссылок, применение атрибута rel=”canonical” и так далее.

Джон Мюллер уточнил, что корпорация не сможет обнаружить данный атрибут тега в том случае, если при поддержке robots.txt будет осуществлена блокировка URL. Соответственно, заблокированные URL будут обрабатываться аналогично альтернативным механизированным веб-страницам. Как итог, URL будет проиндексирован без содержимого, ведь нахождение его на определенной странице Google не сможет отследить.