— Как сделать сайт видимым в Яндексе

     Владельцам сайтов очень важно разобраться, как сделать сайт видимым в Яндексе и как Яндекс индексирует ресурсы. 

     Для того, чтобы сайты появились в выдаче Яндекса, с ними «работают» многочисленные роботы, которые обходят ресурсы и загружают информацию о них в поисковую базу. Загруженные данные обрабатываются с помощью специальных алгоритмов.  Занесение информации в базу и обработка данных называется индексированием. 

     Прежде чем сайт появится в результатах поиска, он проходит четыре этапа. Это также относится к обновленным и к новым страницам: 

• обход роботами 
• индексирование 
• выявление страниц, которые будут участвовать в поиске 
• формирование результатов самого поиска 

     Ознакомимся с каждым из этапов, чтобы понять, как сделать сайт видимым в Яндексе. 

Обход роботами 

     Роботы – это программы. Они сами регулируют частоту посещения сайтов и количество страниц на них, которые следует обойти за определенный промежуток времени (краулинговый бюджет) 

     Следует учесть, что страницы с размером больше 10 мб Яндексом индексироваться не будут. 

     Для того, чтобы робот узнал о существовании сайта, или о добавленных новых страницах, ему нужно предоставить информацию. Ее он получает, используя следующие источники: 

• ссылки с уже проиндексированных страниц (внутренние) 
• ссылки со сторонних ресурсов (внешние) 
• sitemap.xml (файл, содержащий список всех url сайта) 
• файл robots.txt (файл с инструкциями для роботов) 

     В процессе загрузки страницы, робот ориентируется на код ответа сервера (код HTTP-статуса): 

• 200 ОК – запрос к серверу успешен, и страница доступна к просмотру, а значит, будет проиндексирована роботом 
• 3ХХ – редирект (перенаправление) на другой url. Страницы с кодом 3ХХ не индексируются и не участвуют в поиске. 
• 4ХХ и 5ХХ – страница не существует из-за ошибки на стороне клиента (4ХХ), или из-за ошибки на стороне сервера (5ХХ). 

Индексирование 

     Робот идентифицирует контент страницы и сохраняет ее в базу. С этой целью он использует следующую информацию:  

• мета-тег description (краткое описание)  
• данные микроразметки Schema.org  
• мета-тег title (название)  
• изображения  
• текст 
• видео 

     Страница не будет проиндексирована, если: 

• для нее прописана инструкция  noindex (закрыть от индексирования) 
• не является канонической (при наличии двух одинаковых страниц, для одной из них прописывается атрибут rel=»canonical», эта страница попадет в индекс. Вторая – нет) 
• является дубликатом (Яндекс объединит дублирующие страницы в группу дублей и покажет в результатах поиска только одну из них. Если объединения не произойдет, дубликаты будут конкурировать между собой в поиске. Кроме этого, робот потратит краулинговый бюджет на дубли, и его может не хватить на важные страницы сайта) 

Формирование базы страниц, участвующих в поиске 

     Различные алгоритмы выбирают из проиндексированных страниц те, которые могут участвовать в поиске. Здесь применяется большое количество факторов ранжирования и индексирования. Как уже указывалось выше, в базу не попадут страницы, закрытые от индексирования, и дубликаты. 

     Яндекс может не внести в базу страницы, не востребованные пользователями, а также те, которые не смогут попасть в зону видимости из-за высокой конкуренции (так может быть при продвижении сайта по высокочастотным ключевым словам) 

Формирование результатов поиска 

     Качество страницы определяется алгоритмами.  

     Страница должна быть:  

• понятной и полезной для пользователя 
• релевантной (соответствующей) запросу  
• удобной (заголовки, абзацы, изображения и т.д.) 
• безопасной (Яндекс Вебмастер ежедневно проверяет ресурсы на безопасность и соблюдение правил поисковой системы) 
• корректно открываться в браузере  

    

Иногда бывает так, что некоторые страницы сайта долго не появляются в поиске Яндекса. В этом случае нужно проверить, что: 

• они доступны для робота (код ответа сервера 200 ОК).  
• они присутствуют в  файле sitemap.xml 
• на них ведут ссылки с уже проиндексированных страниц сайта 
• они не закрыты от индексирования директивами disallow, noindex, а также HTML-элементом noindex 

     В Яндекс Вебмастере можно получить информацию о странице в разделе «Индексирование» — «Проверить статус URL». Если на сайте появилась новая страница, или были внесены изменения в ранее проиндексированные, можно отправить их на переобход в разделе «Индексирование» — «Переобход страниц».  В случае, если на сайт было внесено много изменений, отправьте на переобход sitemap.xml. 

     Может случиться и так, что ранее проиндексированные страницы исчезают из поиска. Яндекс перечисляет основные причины:  

• инструкции на запрет индексирования в robots.txt или директивой noindex 
• малоценность и невостребованность 
• сайт является неглавным зеркалом  
• код ответа сервера 3ХХ. 4ХХ. 5ХХ 
• страница является дубликатом 
• неканоническая страница 
• нарушения на сайте 

     Если будут внесены исправления в исключенные из поиска страницы, нужно отправить их на переобход. Робот посетит их, проверит возможность показа в выдаче, и в течение двух недель страницы могут снова появиться в поиске.