Пустая директива Allow в файле robots.txt больше не будет учитываться поисковым роботом Яндекса в качестве сигнала, запрещающего индексировать весь сайт. Эта информация появилась в официальном блоге компании 10 июня.

Файлы robots.txt будут читаться по новомуПо словам специалистов Яндекса, до недавнего времени были нередки ситуации, когда поисковому роботу системы не удавалось получить доступ к сайту из-за пустой директивы Allow. Данная директива позволяет индексировать контент только в том случае, если она сопровождается конкретным уточнением. Ранее индексирующий робот воспринимал её как полностью запрещающую, теперь же он научится её игнорировать.

Если же вы действительно хотите запретить индексацию сайта, вам придётся воспользоваться командой Disallow. Узнать подробнее о том, что разрешено или, напротив, запрещено в robots.txt, вы можете в соответствующей панели Вебмастера Яндекса.