создание и продвижение сайтов
реклама в Интернет
по всей России

       

+7 (812) 981-18-97
WhatsApp, Viber +7 904 519-45-93

Файлы robots.txt будут «читаться» Яндексом по-новому

Пустая директива Allow в файле robots.txt больше не будет учитываться поисковым роботом Яндекса в качестве сигнала, запрещающего индексировать весь сайт. Эта информация появилась в официальном блоге компании 10 июня.

Файлы robots.txt будут читаться по новомуПо словам специалистов Яндекса, до недавнего времени были нередки ситуации, когда поисковому роботу системы не удавалось получить доступ к сайту из-за пустой директивы Allow. Данная директива позволяет индексировать контент только в том случае, если она сопровождается конкретным уточнением. Ранее индексирующий робот воспринимал её как полностью запрещающую, теперь же он научится её игнорировать.

Если же вы действительно хотите запретить индексацию сайта, вам придётся воспользоваться командой Disallow. Узнать подробнее о том, что разрешено или, напротив, запрещено в robots.txt, вы можете в соответствующей панели Вебмастера Яндекса.

Услуги

Делимся опытом

Новости

14.09.2017
11.05.2017
03.10.2016

Новости seo

14.09.2016
28.06.2016
11.05.2016

“Web-Садовник”, агентство интернет-маркетинга, 2008 - 2017, реквизиты

Создание сайтов, продвижение сайтов, аудит сайтов, сопровождение сайтов

карта сайта
+7 (812) 981-18-97
WhatsApp, Viber+7 904 519-45-93
вверх