Настройка Google XML Sitemaps или успех быстрой индексации вашего сайта

(Последнее обновление: 05.03.2020)

Привет, коллеги! В этом посте я расскажу вам как создать и настроить XMLSitemap (карта сайта) для WordPress, для поисковых систем таких как Яндекс, Google, Bing, Поиск@Mail.Ru. Не нужно путать XML с HTML. Первый подходит для поисковиков, а второй предназначен преимущественно для пользователей. Что представляет из себя карта сайта XML вы наверное уже знаете.

Напомню: это список страниц вашего сайта/блога, который не видят ваши посетители, а хорошо видна только поисковым системам. XML файл Sitemap позволяет сообщить Google и Yandex о страницах вашего сайта, чтобы они гарантированно попали в индекс поисковых систем.

XML Sitemaps может помочь поисковикам определить местонахождение страниц сайта, блога, время их последнего обновления, частоту обновления и важность относительно других страниц веб-ресурса для того, чтобы поисковая машина смогла более разумно индексировать сайт.

Что такое Sitemap?

Карта сайта — это способ организации веб-сайта с указанием URL-адресов и данных в каждом разделе. Документ XML содержит инструкции для роботов поисковых систем.

Sitemap — XML-файлы с информацией для поисковых систем (таких как Google, Яндекс, Bing, Поиск@Mail.Ru) о страницах веб-сайта, которые подлежат индексации. Проще говоря, это URL-адреса сайта, отправляемые вами поисковикам.

Яндекс поддерживает форматы XML и TXT. Формат XML позволяет передавать дополнительную информацию.

В каких случаях сайту нужен файл Sitemap

Согласно Google, файл Sitemap не является обязательным для сайтов, а использовать его следует, если ресурс попадает в одну из трёх категорий:

• Крупный сайт с большим количеством страниц
• Изолированные страницы на сайте
• Новый сайт или сайт, который часто обновляется

Может ли Google найти страницы без файла Sitemap?

Обычно, если сайт относительно небольшой, а страницы должным образом перелинкованы, то найти контент роботу Googlebot не составит труда.

Если же сайт попадает в одну из трёх категорий, приведённых выше, то использование файла Sitemap поможет Googlebot найти новый контент и покажет, где искать изолированные страницы.

Файл Sitemap также может использоваться для приоритизации сканирования – чтобы указать, какие страницы следует сканировать в первую очередь, что полезно для крупных сайтов.

При этом Sitemap ничего не гарантирует. Другими словами, Google не всегда сканирует каждый URL, добавленный в этот файл.

Обратное тоже верно: если URL не добавлены в файл Sitemap, то это не гарантирует, что Google их не будет сканировать. Google способен находить страницы независимо от того, включены они в карту сайта или нет.

Отсутствие файла Sitemap ничем не грозит сайту

Если у сайта нет файла Sitemap, то ничего страшного в этом нет.

Если вы сомневаетесь, нужен ли сайту файл Sitemap, то чтобы не ошибиться, его можно создать на всякий случай. В большинстве случаев сайт от этого только выиграет.

Google рекомендует автоматически генерируемые файлы Sitemap

Что касается создания файла Sitemap, то Google рекомендует использовать автоматически генерируемые карты сайта вместо тех, которые нужно составлять вручную.

Есть CMS, которые создают файлы Sitemap автоматически. Также существуют WordPress-плагины которые позволяют выполнить эту задачу.

Как создать файлы Sitemap для сайта WordPress?

Создать карту блога или сайта на WordPress нам поможет плагин Google XML Sitemaps. Который генерирует XML файл улучшающей индексацию веб-ресурса поисковыми системами, обновляет его и так далее. Вам достаточно плагин установить, настроить его и можно о нём забыть. Установка Google XML Sitemaps стандартная.

Плагин Google XML Sitemaps Вордпресс

Один из лучших плагинов WP. Он будет предоставлять полную XML-карту сайта для поисковых систем. Его установили уже более 24 243 146 раз.

Используйте этот плагин, он значительно улучшит SEO. Он создаст специальную XML-карту сайта и поможет таким поисковым системам, как Google, Bing, Яндекс и Мейл ру лучше индексировать ваш веб — ресурс. С такой картой сайта сканерам намного проще увидеть полную структуру вашего сайта и извлечь ее более эффективно. Плагин поддерживает все виды страниц, сгенерированных WordPress, а также пользовательские URL. 

Кроме того, он уведомляет все основные поисковые системы каждый раз, когда вы создаете сообщение о новом контенте. Модуль совершенно бесплатен и переведён на русский язык (правда не полностью, но самое важное переведено).

Установите плагин обычным способом, используя функцию Плагины — Добавить новый. В поле поиска введите его название Google XML Sitemaps:

Настройка XML Sitemaps

После успешной установки и активации плагина, его нужно настроить. В разделе «Настройки» нажмите на XML-Sitemap:

Откроется страница: Генератор XML-карты сайта для WordPress, где вам нужно её настроить. На этой странице, в самом вверху, вы увидите ссылку на вашу карту:

Вы можете на неё нажать и посмотреть как она родная выглядит:

Важные настройки на нашем родном и могучем русском языке, поэтому вам не составит ни какого труда во всем разобраться. Какие настройки можно произвести? Разработчик плагина указывает что, значения по умолчанию подходят для большинства сайтов. Но всё же, каждый пользователь должен решить сам.

Указать какие категории исключить из карты, содержание карты сайта, приоритеты, частоту изменений и так далее. Примерно, вот так, должно быть:

Архивы, метки и страницы авторов включать в карту сайта не надо. Хотя я лично теги/метки в карте использую. 

После всех настроек обязательно нажмите «Обновить параметры». Готово. Дальнейшее действие это — добавить файл Sitemap в вебмастере поисковых систем, чтобы ускорить индексирование сайта вордпресс. А также прописать ссылку на карту в robots.txt.

Итак, какие именно страницы необходимо включить в карту? По соображениям SEO рекомендуется включать лишь те страницы, которые хотелось бы видеть в поиске.

И в заключение

Добавьте созданный файл Sitemap в Google Search Console, Яндекс вебмастер и в другие ПС.

Теперь при написание статьи, плагин Google XML Sitemaps будет сообщать поисковым системам (не всем, а только Гугле, Bing, Yahoo и Ask.com) об обновление вашего блога. Плагин автоматически обновит вашу карту сайта, если вы опубликуете сообщение, так что больше ничего не нужно делать 

Для остальных поисковых систем делать нужно вот это — читайте здесь.

Обратите внимание, друзья, функция XML Sitemaps есть в SEO плагинах All in One SEO Pack и Yoast SEO, и других модулях.

Всего доброго и до новых встреч. Пока, пока!

Здравствуйте! На связи Илья Журавлёв и сегодня я расскажу вам и покажу – как создать для своего сайта файл sitemap. Что это такое? если говорить своими словами, то файл sitemap предназначен для помощи поисковым системам в индексировании вашего сайта. То есть в данном файле указывается конкретный список страниц и записей вашего сайта, которые должен проиндексировать поисковый робот.

Смотрите, например поисковый робот зашёл на ваш сайт, а у вас там – Бардак! всё смешано, навалено всё в кучу, много разных прибамбасов на сайте. И в таком хаосе роботу сложно правильно индексировать ваш сайт, в таких условиях он может что-то пропустить. Для этого и нужен файл sitemap.xml – где будут указаны только страницы и записи, которые нужно проиндексировать, без лишнего мусора.

Вот что пишет Google о файле sitemap

Итак, создавать файл sitemap.xml, мы будем с помощью плагина – Google XML Sitemaps. Установить данный плагин вы сможете прямо из своей админ-панели wordpress. Перейдите по вкладке: Плагины – Добавить новый, введите название плагина в форму поиска, нажмите Enter, установите и активируйте найденный плагин.

Чтобы попасть на страницу настроек плагина, перейдите по вкладке: Настройки – XML Sitemap.

А теперь разберём настройки.

Search engines haven’t been notified yet, здесь можно посмотреть и открыть файл sitemap.xml в браузере. На остальную информацию в данном окне можно не обращать внимание так как она не важна.

Переходим к – Базовым Параметрам.

– Уведомить Google об изменениях в Вашем дневнике, здесь ставим галочку.

– Notify Bing (formerly MSN Live Search) about updates of your Blog, здесь то же ставим галочку, чтобы уведомить поисковую систему Bing.

– Add sitemap URL to the virtual robots.txt file, если вы используете файл robots.txt, то здесь галочку ставить не нужно.

– Расширенные параметры, оставляем поля пустыми, а это значит по умолчанию.

– Try to automatically compress the sitemap if the requesting client supports it, оставьте здесь галочку, но если при проверке файла будут выдаваться ошибки, то отключите данную функцию. Данная функция позволяет сжать файл sitemap.xml

– Включить таблицу стилей XSLT, оставьте данное поле пустым, а в конце предложения должна стоять галочка, то есть использовать по умолчанию.

– Override the base URL of the sitemap, оставляем данное поле пустым. Данная функция предлагает сделать переадресацию на другой URL.

– Include sitemap in HTML format, здесь ставим галочку, чтобы карта отображалась в формате HTML.

– Allow anonymous statistics (no personal information), здесь галочку ставить не нужно. Ставя здесь галочку вы разрешаете доступ к анонимной информации, если она у вас есть.

Дополнительные страницы. Здесь вы можете указать файлы или URL адреса, которые должны быть включены в файл sitemap.xml, но которые не принадлежат вашему сайту или блогу. Чтобы добавить новую страницу, нажмите на вкладку – Добавить новую страницу.

Приоритет статьи. Здесь можно указать использовать ли приоритет для записей на вашем сайте. Лично я указал у себя не использовать вычисление приоритета, чтобы все статьи были равноценны. То есть у меня нет такого, что какая то статья важная, а какая-то не важная, у меня на сайте всё важно.

Содержание карты сайта. Здесь нужно указать какие страницы будут включены в файл sitemap.xml. По умолчанию будут отмечены основные страницы – Домашняя страница, статьи и статические страницы сайта. Я так же рекомендую оставить по умолчанию, как есть. Категории, архивы, страницы авторов, страницы меток – отмечать не стоит, так как это лишний груз.

– Further options, здесь ставим галочку, чтобы сообщать поисковикам при изменении содержании файла.

Excluded items. Если вы включили в файл sitemap категории, то можно здесь исключить некоторые из них. Так же здесь можно исключить определённые страницы, указав в поле их ID.

Изменить частоты. Здесь можно указать частоту осмотра страниц. Но обратите внимание на предисловие, что это не является командой для поисковых роботов, а лишь рекомендацией. Я указал для всех каждый день. Для страниц которые не включены в файл sitemap, можно ничего не указывать.

Приоритеты. Если в начале настроек вы указали не учитывать приоритеты, то можно здесь ничего не указывать. Но а если приоритеты для вас важны, то укажите их для страниц которые включены в файл sitemap. Если для вас всё важно и вы не хотите ничего выделять, то ставьте одинаковые приоритеты.

В конце жмём – Обновить параметры. На этом всё, плагин настроен, больше вам ничего делать не нужно.

Остались вопросы? Напиши комментарий! Удачи!

Итак, что он из себя представляет. Дело в том, что ваш сайт состоит из множества папок и файлов. А плагин Google XML Sitemaps генерирует карту на вашем блоге для поисковых роботов, которые периодически совершают обход.

Человеческому глазу она не видна. Это не та карта, которая представляет содержание для удобства пользователей. Но её мы тоже обязательно создадим. А вот роботам она очень облегчает работу, показывая всю структуру. И, как следствие, ваш контент начинает быстрее индексироваться и попадать в поиск.

Иными словами, карта сайта Google — это файл, содержащий в себе URL-адреса вашего ресурса и другую полезную информацию для поисковых систем.

Перейдём к установке плагина. Для этого в панели управления WordPress заходим во вкладку Плагины → Добавить новый. И попадаем в окно поиска. В верхнем правом поле вводим название Google XML Sitemaps. Можете отсюда скопировать для удобства и вставить. Он сразу появится. Нажимаем Установить. И следом Активировать.

Также видим внизу подпись, что он совместим с нашей версией платформы. Значит ошибок при работе возникнуть не должно, если настройка будет правильной.

Сразу хочу отметить, что он уже по умолчанию настроен. Но есть некоторые пункты, которые требуют отдельного внимания. Не лишним будет всё перепроверить. Тем более, что один раз настроив правильно, можно уже туда не возвращаться.

Перейдём в настройки. Это можно сделать двумя методами. Оба из панели управления. Открываем вкладку Настройки → Google XML Sitemaps. Или вкладку Плагины → Установленные. Находим нужный и справа жмём на ссылку Settings (Настройки), как показано на скриншоте ниже.

Далее попадаем в окно, которое можно прокручивать вниз. Поэтому я разделила его на несколько частей для удобства.

Result of the last ping/Результат последнего пинга

В первой части ничего делать не нужно. Она просто содержит служебные сообщения о том, что поисковые системы Google и Bing были успешно уведомлены о произошедших изменениях на вашем сайте. Также указывается дата.

Но, кроме этого, первым делом идёт строка с адресом вашей карты. Плагин её уже сгенерировал и даёт вам такую ссылку. Можете посмотреть. У вас должна выглядеть подобным образом.

https://ontortuga.ru/sitemap.xml

Базовые параметры карты

Далее идут Базовые параметры. Это самый важный раздел. Проверьте, как у вас проставлены галочки. Отметка двух первых пунктов означает, что поисковые системы Google и Bing будут получать уведомления об обновлениях вашего блога

А на третьем пункте давайте остановимся. По умолчанию он был отмечен. Но если вы создавали и загружали файл robots.txt, как мы делали на одном из уроков, либо собираетесь установить этот файл, то галочку здесь ставить не надо. Обратите внимание на объявление:

The virtual robots.txt generated by WordPress is used. A real robots.txt file must NOT exist in the site directory!

Это как раз предупреждение о том, что если вы предоставите адрес виртуальным роботам, то файла robots.txt не должно быть в вашем каталоге на сервере. А значит, если этот нужный файл у нас уже есть, то просто снимаем галочку и идём дальше.

А дальше расширенные опции. Разработчики говорят, что опции увеличение памяти и времени больше не актуальны. Трогать их не надо. Также предлагается сжать карту сайта. Этого я делать не стала.

Таблицу стилей включать не вижу необходимости, так как стили должны соблюдаться на сайте, а не в этом служебном документе.

Переопределите URL-адрес сайта. Эта опция нужна в том случае, если ваш сайт находится в подкаталоге. Тогда при активации карта попадёт в корень. Ко мне это не относится.

А вот Включить карту в формате HTML надо, поставьте галочку. Это для тех роботов, которые не понимают XML.

После предлагается отправлять анонимную статистику автору плагина. Здесь я ничего отмечать не стала.

Additional Pages/Дополнительная страница

В этом разделе имеется возможность включить в карту сторонние страницы, которые находятся вне данного сайта/блога.

Для этого надо нажать — Добавить новую страницу. И в появившиеся строки вписать адрес и другие параметры, о которых речь пойдёт ниже. У меня таких страниц нет, поэтому я ничего не добавляла. Едем дальше.

Приоритет статьи

Здесь я выбрала первый пункт, так как есть возможность ниже в настройках задать уровни приоритета. Теперь все мои статьи равноценны. Я не считаю, что статьи, которые не имеют комментарии, менее важны.

Но если вы хотите, то можете задать значение, зависящее от комментариев к какой-либо статье.

Содержание карты сайта

Очень интересный раздел. Здесь по умолчанию было отмечено только три первых пункта. Но я решила также поставить галочку и на категории/рубрики своего блога. Архивы, страницы авторов и метки я исключила (не стала отмечать). Будете вы добавлять категории в карту или нет — решать только вам.

Further options — возле этой опции обязательно поставьте галочку. Тогда у ваших записей будет указываться время последнего изменения. Это будет знаком для поисковых роботов, они вновь совершат обход и учтут все ваши коррективы.

Excluded Items/Исключённые элементы

Этот раздел позволит вам выборочно исключить рубрики или статьи из карты. Конечно, если вам это будет надо. У меня нет такого контента, который бы я хотела исключить. Зачем мне его тогда публиковать? Но вдруг…

В общем, если понадобится убрать рубрики — ставите галочки, а если статьи — перечисляете ID. Как узнать ID? В консоле заходите в список записей, наводите курсор на любую и смотрите в левый нижний угол экрана. Цифры в ссылке — это и будет ID для записи.

Change Frequencies/Изменения частоты

Здесь вы не задаёте строгие правила для роботов, а лишь даёте им рекомендации. Об этом свидетельствует объявление в данном разделе. Поэтому вероятно, что они будут действовать по своему усмотрению.

Робот тоже не дурак) Допустим, вы задали осмотр категорий ежедневно. Но робот был уже у вас и знает, что категории меняются от силы раз в месяц. Поэтому ваши рекомендации будут проигнорированы.

Можете ничего не менять и оставить значения по умолчанию. Но можете и поиграть с промежутками времени и задать ботам частоту посещений.

Для удобства дам вам расшифровку значений. Вдруг кто-то не учил английский:

• Always — постоянно
• Hourly — ежечасно
• Daily — ежедневно
• Weekly — еженедельно
• Monthly — ежемесячно
• Yearly — ежегодно
• Never — никогда

Частоты главной страницы и текущего архива за месяц должны совпадать.

Также хочу обратить ваше внимание на советы разработчиков, так как многие блогеры просто скачивают плагин Google XML Sitemaps и активируют его, даже особо не посмотрев, что внутри.

Поэтому не стесняемся — продолжаем экспериментировать)

Приоритеты

Здесь вы также можете поиграть со значениями от 0 до 1. Решите для себя, что важнее. А робот, как всегда, сам разберётся, учитывать ли ваши пожелания) Я выставила такие приоритеты:

Также автор плагина предупреждает, что установка параметра 1 для всех элементов не имеет смысла. Поэтому ставьте различные.

Ну и не забываем сохранить настройки карты, нажав кнопку Обновить параметры.

Если вы решите вернуть всё в изначальный вид, в помощь кнопка — Вернуть исходные значения.

Если вы ещё не видели, какую карту вам сгенерировал данный плагин, то зайдите по такому адресу http://ваш-сайт/sitemap.xml Будет нечто подобное:

В колонках вы увидите ссылки и время последних изменений. Можете походить по ним, посмотреть. А на этом всё. Благодарю за внимание! ?

В следующем уроке читайте про то, как вставить баннер с партнёрской ссылкой на сайт.

Используемые источники:

• https://wordpressmania.ru/karta-sayta-sitemap-dlya-google-i-yandeks/
• https://info-effect.ru/kak-nastroit-plagin-google-xml-sitemaps.html
• https://ontortuga.ru/plagin-google-xml-sitemaps-podrobnaja-nastrojka-na-wordpress/