Новые правила в файлах robots.txt

По новым правилам, страница сайта которая одновременно попадает под действие директив ‘Allow’ и/или ‘Disallow’, будет применяться директива с наибольшей длиной префикса URL. При определении длины префикса спецсимвол ‘*’ не учитывается. Если у Вас на сайте в robots.txt совместно используются директивы ‘Allow’ и ‘Disallow’, проверьте их на соответствие новым стандартам.

Tags:

Комментариев пока нет.