Инструменты для вебмастеров от Google – надежные помощники при поисковой оптимизации вашего вебресурса — 3

В первой части обзора "Инструментов для вебмастеров" от Google мы закончили рассмотрение общих принципов и раздела "Вид в поиске". Во второй — изучили следующие разделы: "Поисковый трафик" и "Индекс Google". Переходим к заключительной части обзора, в которой рассмотрим следующие разделы "Инструментов":

1. Сканирование
2. Вредоносные программы
3. Другие ресурсы
4. Лаборатория

Раздел "Сканирование"

Здесь собраны различные данные о проблемах, которые смогла увидеть поисковая система Google при процессе сканирования вашего сайта или блога и его дальнейшего индексирования. Благодаря этой информации можно всегда узнать ошибки различного характера, препятствующие вашему вебресурсу правильно индексироваться в основной базе данных Google. В разделе содержатся следующие подразделы:

• Ошибки сканирования
• Статистика сканирования
• Просмотреть как Googlebot
• Заблокированные URL
• Файлы Sitemap
• Параметры URL

Ошибки сканирования

В этом отчете можно получить перечень всех страниц вашего сайта или блога, на которые не смог зайти поисковый робот Google. Причины такой проблемы указываются здесь же. Наиболее часто проблемы возникают по следующим причинам: наличие проблем с хостингом, изменение адресов страниц, опечатка в директиве файла robots.txt наличие как внешних, так и внутренних ссылок, которые ссылаются на несуществующую страницу — ошибка 404 и т.д. В данном подразделе можно отследить ошибки и исправить их.

А теперь – немного подробностей. На странице "Ошибки сканирования" содержится информация о URL-адресах с вашего сайта, которые роботу Googlebot не удалось просканировать. Кроме того, здесь перечислены URL, которые возвращают код ошибки HTTP. Если на сайте или блоге все в порядке, то вы увидите следующее сообщение: "За последние 90 дней ошибок не обнаружено. Отлично!".

В целом же, можно сказать, что в случае обнаружения, на этой странице будут перечислены два типа ошибок:

1. Ошибки сайта. В этом разделе представлены ошибки, из-за которых роботу Googlebot не удалось получить доступ к вашему сайту.
2. Ошибки URL. В этом разделе перечислены ошибки, которые возникают, когда робот Googlebot пытается открыть отдельные веб-страницы. Можно выполнить поиск конкретных URL или ошибок.

В перечне URL, при сканировании которых возникли сложности, указывается тип проблемы и, по возможности, страницы, на которых были обнаружены ошибки. Сначала перечисляются наиболее важные адреса. Чтобы получить более подробные сведения о той или иной ошибке, нажмите на соответствующую ссылку в списке. После этого можно выполнить следующие действия:

1. Чтобы увидеть список файлов Sitemap (возможно, неполный), в котором содержится этот URL, нажмите "В этих файлах Sitemap".
2. Чтобы открыть список страниц-источников (возможно, неполный), в котором содержится этот URL, нажмите "Ссылки с этих страниц".
3. Чтобы узнать, какие данные веб-страницы доступны роботу Google, нажмите "Просмотреть как Googlebot". Это полезный инструмент для устранения неполадок на страницах.

Если вы устранили причину ошибки, связанной с конкретным URL, его можно скрыть в списке. Установите рядом с ним флажок и нажмите «Отметить как исправленный». URL перестанет отображаться. (если причина ошибки не устранена, адрес вновь появится в списке при следующем сканировании роботом Googlebot).

Статистика сканирования

Здесь вы найдете информацию в графиках по 3 показателям:

• количество сканированных страниц в день (чем больше, тем лучше);
• количество загруженных килобайт за день (чем больше, тем лучше); 
• время за загрузку 1 страницы в миллисекундах (чем меньше, тем лучше).

В графиках отображены данные за последние 90 дней. Доступная информация, в основном, характеризует скорость работы вашего хостинга и показывает случались ли сбои. Приводятся минимальные, максимальные и средние показатели. Большой разброс показателей (на скриншоте в красных элипсах обозначены примеры) может говорить о том, что ваш хостинг нестабильный.

Google использует сложные алгоритмы, определяющие глубину сканирования каждого сайта. Его цель заключается в том, чтобы просканировать как можно больше страниц на сайте за один раз, не снижая пропускной способности сервера.

Если слишком частое сканирование вашего сайта роботом Googlebot замедляет работу сервера, вы можете изменить скорость сканирования (время сканирования сайта роботом Googlebot) для сайтов на корневом уровне. Пример: www.example.com и http://subdomain.example.com.

Учтите, что при этом могут возникнуть определенные проблемы. Например, система будет сканировать сайт со скоростью, не превышающей заданную вами. Соответственно, изменять данный параметр следует только в тех случаях, когда настройка робота Google по умолчанию вызывает заметные неудобства.

Посмотреть как Googlebot

Благодаря этому уникальному инструменту можно посмотреть страницы своего вебресурса глазами робота Google. В процессе сканирования Googlebot собирает данные и потом показывает их. В каком случае это может быть полезно вебмастеру? Это очень пригодится при устранении, например, причин низкой эффективности в результатах поиска. Кроме того, если сайт был взломан, то с помощью этого инструмента можно найти проблемные страницы и выявить ошибки или вредоносный код.

Этот инструмент предоставляет следующую информацию:

1. HTTP-ответ сервера.
2. Дата и время запроса сканирования.
3. HTML-код.
4. Первые 100 КБ видимого (индексируемого) текста на странице. Если он отсутствует, это может свидетельствовать о том, что страница полностью состоит из файлов мультимедиа или кода JavaScript и не имеет текстового содержания. Необходимо убедиться, что текст не содержит постороннего содержания. Это может указывать на то, что ваш сайт был взломан.
5. Если ваш сайт был взломан, инструмент "Просмотреть как Googlebot" поможет выявить проблемные страницы. Представьте что администратор www.example.com, ищет свой сайт в Google. Узнав, что его сайт появляется в результатах поиска популярных спам-слов (например, "Виагра"), он будет крайне удивлен, ведь эти слова отсутствуют в исходном контенте страниц его сайта. К счастью, сайт подтвержден в "Инструментах для веб-мастеров" и администратор может с помощью функции "Просмотреть как Googlebot" увидеть свой сайт так, как его видит Google. Инструмент отображает содержание извлеченной страницы и сведения о ней, и администратор может найти слово "Виагра" и другие спам-термины.

Такие слова могут быть добавлены злоумышленником, взломавшим сайт. Этот нежелательный контент скрыт от обычных пользователей, но доступен роботу Googlebot. Поскольку изменения в исходном коде сайта не видны обычным посетителям, их сложно обнаружить без инструмента "Просмотреть как Googlebot".

Чтобы проверить качество сканирования вашего сайта, Google рекомендует использовать инструмент "Просмотреть как Googlebot", а также следующие ресурсы:

1. Советы по оптимизации HTML: прочитайте рекомендации по улучшению тегов title, метаописаний и других элементов HTML, которые могут повлиять на эффективность сайта в результатах поиска.
2. Ошибки сканирования: узнайте, на каких страницах возникли проблемы при сканировании.

Чтобы использовать инструмент "Просмотреть как Googlebot", нужно придерживаться следующего порядка:

1. На главной странице "Инструментов для веб-мастеров" выберите нужный сайт.
2. На левой панели найдите функцию "Просмотреть как Googlebot".
3. В текстовом поле введите путь к странице, которую нужно проверить.
4. В раскрывающемся списке выберите нужный тип просмотра. Чтобы увидеть страницу так, как ее видит робот Googlebot, выберите "Веб".
5. Нажмите "Просмотреть".

Этот инструмент позволяет получать до 500 URL в неделю в одном аккаунте "Инструментов для веб-мастеров".

Если роботу Googlebot удается получить содержание страницы, ее можно добавить в индекс Google. Чтобы сделать это, просто — нажмите соответствующую кнопку. Можно указать как один URL (до 500 в неделю на один аккаунт "Инструментов"), так и URL вместе со всеми адресами, на которые ссылается соответствующая страница (до 10 в месяц).

Проиллюстрируем вышесказанное:

На скриншоте выше в красных элипсах показаны количество URLов, которое я могу еще добавить (498 из 500) и количество оставшихся запросов на добавление URL и связанных страниц (10 из 10).

Теперь посмотрим, как можно добавить новую страницу в индекс. Как мы уже говорили в первой части данного обзора, не всегда количество проиндексированных страниц соответствует тому количеству, которое указано в sitemap.xml.

Это происходит по той причине, что не всегда возможно создавать новый файл sitemap.xml сразу после размещения новой статьи или поста. Особенно, если вы пишите и размещаете много материалов, плюс занимаетесь продвижением и раскруткой сайта самостоятельно и т.д.

Гораздо проще в таком случае быстро отправить на индексацию отдельную страницу, а потом, когда таких страниц соберется определенное количество (каждый решает сам — какое) можно создать новый файл sitemap.xml и добавить его в систему (как это сделать мы рассмотрим чуть позже).

Еще один важный момент, на который следует обращать внимание. При добавлении и отправке на индексацию новых страниц, не забывайте вносить их также в файл sitemap.html — это не займет много времени.

Выше показан процесс добавления страницы на индексирование. Вначале я просто добавил свою главную страницу, для чего нажал на красную кнопку "Получить содержание". Вот какую картину мы получили после этого: во-первых, мы видим подтверждение того, что запрос выполнен успешно (верхний красный элипс), во-вторых, получили информацию о своем запросе (красный прямоугольник внизу картинки) и, в-третьих, дату получения запроса.

Но страница еще не отправлена в индекс. Чтобы это сделать, необходимо щелкнуть по ссылке "Отправить в индекс" (светло-голубой элипс в информации о запросе). Выскакивает новое окно, в котором вам предстоит выбрать, какое действие вы хотите произвести:

Выбираете нужное вам действие и жмете "ОК" (если вы нашли какую-то ошибку, то нажимаете на "Отмена"). После нажатия на "ОК" появится ответ системы на ваш запрос (верхний элипс): "Ваш запрос получен и вскоре будет обработан".

Кроме того, в нижней части появилась запись, подтверждающая выбранный вами путь отправки на инлексацию (светло-голубой элипс в информации о своем запросе. На этом ваша работа по добавлению страницы в индекс Google завершена. Для других страниц процесс следует повторить в том же порядке.

Заблокированные URL

Файл robots.txt позволяет ограничить доступ к сайту для роботов поисковых систем, сканирующих Интернет. Перед обращением к сайту эти роботы ищут файл robots.txt, который запрещает им доступ к определенным страницам.

Файл robots.txt необходим только в том случае, если на вашем сайте есть содержание, которое не следует включать в индекс поисковых систем. Если вы хотите, чтобы поисковые системы включали в свои индексы все содержание вашего сайта, файл robots.txt (даже пустой) не требуется.

Хотя Google не сканирует и не индексирует содержание страниц, заблокированных в файле robots.txt, URL, обнаруженные на других страницах в Интернете, по-прежнему могут добавляться в индекс. В результате URL страницы, а также другие общедоступные сведения, например текст ссылок на сайт или заголовок из каталога Open Directory Project (www.dmoz.org), могут появиться в результатах поиска Google.

Чтобы полностью исключить вероятность появления контента страницы в индексе Google, даже если на нее ссылаются другие сайты, используйте метатег noindex или x-robots-tag. По мере сканирования страниц, робот Googlebot обнаружит метатег noindex и не станет отображать страницу в индексе. HTTP-заголовок x-robots-tag рекомендуется использовать, чтобы исключить из индекса файлы, формат которых отличается от HTML (например, изображения или другие типы документов).

Файлы Sitemap

Файл Sitemap позволяет сообщить Google о страницах вашего сайта, чтобы они гарантированно попали в индекс. XML-файл Sitemap представляет собой список страниц вашего веб-сайта. Если создать и отправить такой файл Sitemap.xml, поисковая система узнает обо всех страницах на вашем сайте, включая URL, которые невозможно обнаружить в ходе стандартного сканирования.

Файлы Sitemap.xml особенно полезны в следующих случаях:

1. На вашем сайте имеется динамическое содержание.
2. Ваш сайт содержит страницы, которые поисковый робот Googlebot может не обнаружить при сканировании, например страницы с мультимедийным AJAX-содержанием или изображениями.
3. Ваш сайт создан недавно, и на него указывает мало ссылок. (Поисковый робот Googlebot сканирует Интернет, переходя по ссылкам с одной страницы на другую. Если на ваш сайт указывает мало ссылок, будет сложно его найти).
4. Ваш сайт содержит большой архив страниц, которые слабо или совсем не связаны друг с другом.

Google не гарантирует, что будет сканировать или индексировать все ваши URL. Тем не менее, по данным из файла Sitemap.xml поисковик сможет определить структуру вашего сайта. Это позволит ему оптимизировать график сканирования сайта и улучшить этот процесс в будущем.

Параметры URL

Еще один важный инструмент, который позволяет настроить максимально эффективное сканирование страниц вашего сайта или блога. Сканируя и индексируя повторяющееся содержание, поисковая система тратит имеющиеся ресурсы впустую, что, в свою очередь, ведет к сокращению количества страниц, которые Google может отсканировать на вашем вебресурсе. Кроме того, дублирующееся содержание в индексе способно снизить частоту появления ваших страниц в результатах поиска Google.

Дублирующееся содержание часто появляется, когда на сайте одна и та же информация предоставляется по разным URL, например, при использовании идентификаторов сеанса или других подобных параметров:

1. http://www.example.com/products/women/dresses/green.htm
2. http://www.example.com/products/women?category=dresses&color=green
3. http://example.com/shop/index.php?product_id=32&highlight= green+dress&cat_id=1&sessionid=123&affid=431

В данном примере все три URL указывают на одинаковое содержание – коллекцию готовых зеленых платьев.

Обнаруживая дублирующееся содержание, появившееся, например, из-за параметров URL, Google объединяет дублирующиеся URL в одну группу и выбирает из нее наиболее показательный URL, который и отображается в результатах поиска. Затем свойства этих URL (например, популярность ссылки) консолидируются и присваиваются выбранному URL. В результате этого пользователи могут получать более точные результаты поиска.

Раздел "Вредоносные программы"

Если ваш сайт был взломан или вы загрузили на него какой-то вредный скрипт, код, вирус, программу и т.д. – Google заметит вредителя и отправит вам сообщение, которое вы найдете в этом разделе. После того, как исправите ошибку – отправьте сайт или блог на переиндексацию. Как правило, это занимает от 3 – 4-х дней до недели.

По завершении сканирования, при условии, что все исправлено, в данном разделе появится надпись: "Вредоносные программы на этом сайте не обнаружены". Советую открывать эту страницу при каждом заходе в "Инструменты для вебмастеров".

Раздел "Другие ресурсы "

В этом разделе вы найдете несколько инструментов, которые могут помочь вам с разметкой структурированных данных на своем сайте или блоге, добавить данные о вашей организации в "Адреса Google", презентовать ваши товары или услуги для широкого обозрения. В перечень предлагаемых инструментов входят следующие:

1. Инструмент проверки структурированных данных.           С помощью этого инструмента можно убедиться, что системы Google правильно обрабатывают разметку данных и показывают информацию в результатах поиска.
2. Мастер разметки структурированных данных.       Поможет добавить разметку структурированных данных в HTML-код.
3. Google Адреса.          97% пользователей ищут адреса местных компаний в Интернете. Расскажите им о себе с помощью Google "Адреса организаций" – бесплатной локальной платформы Google.
4. Google Merchant Center.        Здесь можно загрузить в Google сведения о ваших товарах, чтобы предоставить к ним доступ "Покупкам" и другим службам Google.

Перейдя по нужным ссылка, вы сможете произвести необходимые вам действия, следуя имеющимся указаниям.

Раздел "Лаборатория"

Переходим к последнему разделу "Инструментов для вебмастеров". Здесь расположились следующие подразделы:

• Статистика для автора
• Пользовательский поиск
• Предпросмотр страниц
• Эффективность сайта

Рассмотрим их по порядку.

Статистика для автора

Комплексный отчет, который показывает график и таблицу данных по всем страницам вашего сайта или блога, для которых подтверждено ваше авторство. В таблице для каждой страницы указаны самые важные поисковые параметры (показы, клики, CTR, средняя позиция).

Чтобы информация о вашем авторстве отображалась в результатах поиска, необходимо иметь профиль в Google+. На фотографии в этом профиле должно быть четко видно лицо. Чтобы подтвердить авторство с помощью привязки содержания к профилю, можно использовать один из способов, описанных ниже.

Причем, следует заметить, что Google не гарантирует, что информация об авторе будет отображаться в результатах веб-поиска или в "Google Новостях".

Способ 1. Свяжите свой контент с профилем Google+ с помощью подтвержденного адреса электронной почты.

Убедитесь, что ваш адрес электронной почты (например, [email protected]) находится в том же домене, что и ваш контент (wired.com). Во всех статьях или публикациях, размещенных вами в этом домене, должно быть явно указано, что вы являетесь автором этого содержания (например, "Автор: Иван Петров").

Перейдите на страницу "Для авторов" и сообщите в Google свой адрес электронной почты. Это действие требуется выполнить только один раз для всех опубликованных вами материалов в этом домене. Ваш адрес электронной почты отобразится в разделе "Мои публикации" вашего профиля Google+. Если вы не хотите, чтобы адрес электронной почты был виден всем пользователям, измените настройки приватности для этой ссылки.

Способ 2. Укажите свое авторство, связав контент со своим профилем Google+.

1. Добавьте на веб-страницу ссылку на свой профиль Google+: <a href="[profile_url]?rel=author">Google</a>

2. Вместо [profile_url] вставьте URL своего профиля Google+, например:

      <a href="http://plus.google.com/109412257237?rel=author">Google</a>

3. Ссылка должна содержать параметр ?rel=author. В противном случае Google не сможет связать ваш контент с профилем Google+.

4. Добавьте в свой профиль обратную ссылку на сайт с вашим контентом. Это можно сделать в разделе "Мои публикации". Нажмите "Добавить ссылку" в диалоговом окне и укажите URL веб-сайта. В раскрывающемся списке также можно выбрать, кому будет доступна эта ссылка. Нажмите кнопку "Сохранить".

Чтобы просмотреть данные об авторе, которые Google может извлечь с вашей страницы, используйте инструмент проверки структурированных данных. Если вы не хотите, чтобы сведения о вашем авторстве отображались в результатах поиска, измените свой профиль (используя ссылку plus.google.com/me/about/edit) и убедитесь, что не установлен флажок "Показывать мой профиль в результатах поиска".

Пользовательский поиск

Еще один полезный инструмент, который позволяет владельцу сайта создать собственную персонализированную систему поиска для своего вебресурса, в которую также можно добавлять другие сайты и страницы для поиска. Вам предлагаются две версии:

• Базовый пакет: На страницах результатов поиска присутствует реклама.
• Site Search: Без рекламы на страницах результатов поиска.

Пример такой поисковой системы вы можете увидеть на любой странице сайта, на котором вы сейчас находитесь. Она находится в верхнем углу, под лого, справа от вас.

Предпросмотр страниц

Инструмент, который позволяет вебмастеру сравнить фактическую страницу с ее снимком в предпросмотре страниц Google. Для проверки введите в пустое поле адрес проверяемой страницы и нажмите "Сравнить". Вскоре появится ссылка на проверяемую страницу, щелкните по ней и вам откроется ее снимок в Google. Вам остается только сравнить реальную страницу с этим снимком. В случае несоответствия – проведите работы по устранению ошибок.

Эффективность сайта

Названная функция являлась экспериментальной и в настоящее время больше не используется. Поэтому, для анализа и повышения эффективности сайта вы можете применить следующие ресурсы:

1. Скорость загрузки сайта в Google Analytics — позволяет измерить скорость загрузки страниц при их просмотре посетителями сайта, а также оценить другие временные показатели, определенные пользователем.
2. PageSpeed Insights — анализирует содержание ваших страниц и предоставляет рекомендации по повышению эффективности.

Ну, вот мы и закончили обзорное знакомство с "Инструментами для вебмастеров" от поисковой системы Google. Те же из вас, кто по каким-то причинам не читал первую и вторую статьи, начинающие данный обзор, могут это сделать перейдя по соответствующим ссылкам.

Наверх