продвижение сайтов
создание сайтов
+7(812) 981-189-7

Услуги

Делимся опытом

Новости

25.10.2016
03.10.2016
12.09.2016

Новости seo

14.09.2016
28.06.2016
11.05.2016

Файлы robots.txt будут «читаться» Яндексом по-новому

Пустая директива Allow в файле robots.txt больше не будет учитываться поисковым роботом Яндекса в качестве сигнала, запрещающего индексировать весь сайт. Эта информация появилась в официальном блоге компании 10 июня.

Файлы robots.txt будут читаться по новомуПо словам специалистов Яндекса, до недавнего времени были нередки ситуации, когда поисковому роботу системы не удавалось получить доступ к сайту из-за пустой директивы Allow. Данная директива позволяет индексировать контент только в том случае, если она сопровождается конкретным уточнением. Ранее индексирующий робот воспринимал её как полностью запрещающую, теперь же он научится её игнорировать.

Если же вы действительно хотите запретить индексацию сайта, вам придётся воспользоваться командой Disallow. Узнать подробнее о том, что разрешено или, напротив, запрещено в robots.txt, вы можете в соответствующей панели Вебмастера Яндекса.


Написать нам