Как использовать Googlebot, чтобы улучшить поисковый рейтинг своего веб-ресурса

 

 

Все веб-ресурсы по всему миру сканируются Googlebot, который отвечает за их анализ с целью установления соответствующего рейтинга в результатах поиска. В этой статье - переводе с англоязычного сайта SmartKeyword - рассмотрены различные действия Googlebot, его ожидания и доступные вам средства для поисковой оптимизации вашего веб-ресурса.

 

СОДЕРЖАНИЕ ОБЗОРА:

 

Что такое Googlebot?

 

 

Что такое Googlebot?

 

Googlebot - это виртуальный робот, разработанный инженерами из офисов гиганта в Маунтин-Вью. Этот маленький робот быстро просматривает веб-сайты, прежде чем индексировать некоторые из их страниц. Эта компьютерная программа выполняет поиск и считывание содержимого веб-сайтов, а также изменяет свой индекс в соответствии с найденными новостями. Индекс, в котором хранятся результаты поиска, является своего рода мозгом Google. Именно здесь хранятся все его знания.

Google использует тысячи небольших компьютеров, чтобы отправлять свои сканеры во все уголки Интернета, чтобы найти страницы и посмотреть, что на них находится. Существует несколько разных роботов, каждый из которых имеет четко определенную цель. Например, AdSense и AdsBot отвечают за проверку релевантности платных объявлений, в то время как мобильные приложения Android проверяют приложения для Android. Есть также Images Googlebot, News и т.д.

 

Как работает Googlebot и что он ищет?

 

Робот Googlebot полностью автономен, никто на самом деле не “пилотирует” его, как только он создан и запущен. Робот использует карты сайтов и ссылки, обнаруженные в ходе предыдущих поисков. Всякий раз, когда поисковый робот находит новые ссылки на веб-сайте, он переходит по ним на целевые страницы и добавляет их в свой индекс, если они представляют интерес.

Аналогично, если Googlebot обнаружит неработающие ссылки или измененные ссылки, он примет их во внимание и обновит свой индекс. Googlebot сам определяет, как часто он будет сканировать страницы. Он выделяет “бюджет обхода” для каждого веб-сайта. Поэтому вполне нормально, что веб-сайт на сто или тысячу страниц не полностью просматривается или индексируется.

Чтобы упростить работу Googlebot и убедиться, что веб-сайт правильно проиндексирован, вы должны проверить, что ни один фактор не блокирует обход или не замедляет его (неправильная команда в файле robots.txt, к примеру).

Файл robots.txt – команды. Файл robots.txt в некотором смысле дорожная карта Googlebot. Это первое место, куда ползет робот, чтобы следовать указаниям данного файла. В robots.txt можно ограничить доступ Googlebot к определенным частям веб-сайта. Эта система часто используется в стратегиях оптимизации бюджета обхода. В robots.txt для каждого веб-сайта можно получить доступ, добавив /robots.txt в конце URL-адреса. С помощью robots.txt веб-сайт может блокировать просмотр страниц корзины покупок, личной учетной записи и других страниц веб-ресурса.

CSS-файлы. CSS (Cascading Style Sheets) расшифровывается как Каскадные таблицы стилей. Этот файл описывает, как HTML-элементы должны отображаться на экране. Это экономит много времени, потому что таблицы стилей применяются по всему веб-сайту. Он даже может управлять макетом нескольких веб-сайтов одновременно. Googlebot не просто читает текст, он также загружает CSS-файлы, чтобы лучше понять общее содержимое страницы.

Благодаря CSS, он также может:

  • Обнаруживать возможные попытки манипуляций со стороны веб-сайтов, чтобы обмануть роботов, и лучше позиционировать себя (самые известные: маскировка и белая полиция на белом фоне).
  • Загрузите некоторые изображения (логотип, пиктограммы и т.д.)
  • Ознакомьтесь с рекомендациями по адаптивному дизайну, которые необходимы для того, чтобы показать, что веб-сайт подходит для просмотра с мобильных устройств.

Изображения. Робот Googlebot загружает изображения с веб-сайта, чтобы обогатить свой движок “Google Images”. Конечно, поисковый робот еще не “видит” изображение, но он может понять его благодаря атрибуту alt и общему контексту страницы. Поэтому вам не следует пренебрегать изображениями, потому что они могут стать основным источником трафика, даже если сегодня их все еще очень сложно анализировать с помощью Google Analytics.

 

Как анализировать посещения Googlebot на веб-ресурсе?

 

Робот Google довольно сдержан, поначалу мы его не замечаем. Для начинающих веб-мастеров это на самом деле совершенно абстрактное понятие. Однако оно есть, и оно оставляет после себя след. Этот “след” виден в журналах веб-сайта. Один из способов понять, как Googlebot посещает веб-сайт, - это проанализировать журнал. Файл журнала также позволяет отслеживать точную дату и время посещения ботов, целевой файл или запрашиваемую страницу, заголовок ответа сервера и т.д.

Search Console, ранее известная как Инструменты для веб-мастеров Гугл, является одним из наиболее важных бесплатных инструментов для проверки удобства использования веб-сайта. С помощью кривых индексации и обхода вы сможете увидеть соотношение просмотренных и проиндексированных страниц по сравнению с общим количеством страниц, из которых состоит веб-сайт. Вы также получите список ошибок обхода (например, 404 или 500 ошибок), которые вы можете исправить, чтобы помочь Googlebot лучше сканировать веб-сайт.

 

Файл robots.txt

 

Google не делится списком IP-адресов, используемых разными роботами, потому что он часто меняется. Итак, чтобы выяснить, посещает ли веб-сайт (реальный) робот Googlebot, вы можете выполнить обратный поиск по IP. Спамеры могут легко подделать имя агента пользователя, но не IP-адрес.

Файл robots.txt может помочь вам определить, как Googlebot посещает определенные части веб-сайта. Но будьте осторожны, этот метод не идеален для начинающих. Действительно, если вы будете использовать неправильные команды, то случайно сможете запретить роботу Googlebot сканировать весь веб-сайт, что напрямую приведет к его удалению из результатов поиска.

 

 

Как оптимизировать веб-ресурс, чтобы угодить Googlebot?

 

Помощь роботу Googlebot в сканировании большего количества страниц на веб-сайте может быть сложным процессом, который сводится к устранению технических барьеров, которые мешают сканеру сканировать веб-сайт оптимизированным способом (это один из 3-х главных принципов SEO – поисковой оптимизации веб-ресурса).

Вкратце остановимся на основных моментах, относящихся к поисковой оптимизации, о которых не следует забывать, в частности:

  • Регулярно обновляйте содержимое веб-сайта. Контент, безусловно, является наиболее важным критерием не только для Google, но также и для других поисковых систем. Веб-сайты, которые регулярно обновляют свой контент, скорее всего, будут сканироваться чаще, потому что Google постоянно находится в поиске новых вещей. Если у вас есть демонстрационный веб-сайт, где трудно регулярно добавлять контент, вы можете использовать блог, непосредственно прикрепленный к веб-сайту. Это побудит бота заходить чаще, одновременно обогащая семантику веб-сайта. В среднем рекомендуется предоставлять свежий контент не реже трех раз в неделю, чтобы повысить скорость обхода.
  • Увеличьте время отклика сервера и время загрузки страницы. Время загрузки страницы является определяющим фактором. Действительно, если Googlebot обнаружит, что загрузка и сканирование страницы занимает слишком много времени, после этого он будет сканировать меньше страниц. Поэтому вы должны разместить веб-сайт на надежном сервере, обеспечивающем хорошую производительность.
  • Создайте карту сайта. Отправка карты сайта (sitemap) - это одна из первых вещей, которые вы должны сделать, чтобы боты могли легче и быстрее сканировать ваш сайт. Они могут не сканировать все страницы в карте сайта, но у них будут все подготовленные пути, что особенно важно для страниц, которые, как правило, имеют неправильные ссылки на веб-сайте.
  • Избегайте дублирования контента. Дублирование контента значительно снижает скорость обхода, потому что Google считает, что вы используете его ресурсы для обхода одного и того же объекта. Другими словами, вы зря утомляете роботов! Вот почему следует избегать дублирования контента как для Google, так и для дорогого друга Google Panda.
  • Блокируйте доступ к нежелательным страницам с помощью файла robots.txt. Чтобы сохранить бюджет обхода, вам не нужно позволять роботам поисковых систем сканировать нерелевантные страницы, такие как информационные страницы, страницы администрирования учетных записей и т.д. Простая модификация к robots.txt файл заблокирует сканирование этих страниц с помощью Googlebot.
  • Позаботьтесь о внутренних ссылках. Внутренние ссылки необходимы для оптимизации бюджета обхода. Это не только поможет вам донести SEO-оптимизацию до каждой страницы, но и лучше направит ботов на более давние страницы. То есть, когда вы добавляете статью на свой веб-ресурс, то вы должны ссылаться на более старую страницу, если это возможно. Таким образом Googlebot будет продолжать дольше и чаще находиться на вашем сайте или блоге. Внутренние ссылки напрямую не помогают увеличить скорость обхода Google, но они помогают ботам эффективно сканировать более старые страницы веб-ресурса, которые часто упускаются из виду.
  • Оптимизируйте изображения. Какими бы умными роботы ни были, они пока не способны визуализировать изображение. Они нуждаются в текстовом руководстве. Если веб-сайт содержит изображения, обязательно заполните атрибуты alt, чтобы предоставить четкое описание, которое поисковые системы поймут и проиндексируют. Изображения могут отображаться в результатах поиска только в том случае, если они правильно оптимизированы.

 

Googlebot - это маленький робот, который ежедневно посещает веб-сайт в поисках чего-то нового. Если вы сделаете разумную техническую оптимизацию своего веб-ресурса, он будет часто заходить и сканировать множество страниц. Если вы будете регулярно предоставлять ему свежий контент, он будет возвращаться еще чаще. Фактически, всякий раз, когда вы вносите изменения на веб-сайте, вы можете пригласить Googlebot зайти и посмотреть это изменение из поисковой консоли Google, что ведет к более быстрой индексации.

 

 

Ставьте лайк

 

 

 

 

Подписаться на новости