Logiss.ru

Ваша компьютерная помощь
0 просмотров
Рейтинг статьи
1 звезда2 звезды3 звезды4 звезды5 звезд
Загрузка...

Как создать файл sitemap.xml для сайта

Как создать файл Sitemap и сделать его доступным для Google

В Google поддерживается несколько форматов файлов Sitemap.

Во всех форматах следует использовать стандартный протокол. В настоящее время Google не учитывает в файлах Sitemap атрибут <priority> .

Для всех форматов действуют следующие ограничения: файл Sitemap может содержать не более 50 000 URL, а его размер в несжатом виде не должен превышать 50 МБ. Если объем файла или количество перечисленных в нем адресов превышают эти лимиты, разбейте его на несколько частей. Вы можете создать и отправить в Google индекс Sitemap, который содержит данные об отдельных файлах Sitemap. При необходимости можно отправить несколько файлов или индексов Sitemap.

Вот пример простого XML-файла Sitemap с одним URL:

Подробную документацию и более сложные примеры вы можете найти на сайте sitemaps.org.

RSS, mRSS и Atom 1.0

Если у вас есть блог с фидом RSS или Atom, можно отправить URL этого фида в качестве источника файла Sitemap. Большинство сервисов для ведения блогов позволяют создать фид, но нужно учитывать, что в нем может быть представлена информация только о последних URL.

  • Google допускает использование фидов RSS 2.0 и Atom 1.0.
  • Отправить в Google сведения о видеоконтенте можно также с помощью фида mRSS (media RSS).

Текст

Если в файле Sitemap есть только адреса страниц, вы можете отправить Google обычный текстовый файл с этими URL (по одному в каждой строке). Пример:

Правила создания текстовых файлов Sitemap
  • Необходимо использовать кодировку UTF-8.
  • В файл Sitemap можно добавлять только URL.
  • Этому текстовому файлу можно дать любое имя, но необходимо использовать расширение .txt (например, sitemap.txt).

Файлы Sitemap с расширенным синтаксисом

Google поддерживает расширенный синтаксис файлов Sitemap для перечисленных ниже MIME-типов. С помощью дополнительных элементов можно описывать видео, изображения и другой плохо поддающийся анализу контент, чтобы они лучше индексировались.

Общие рекомендации в отношении файлов Sitemap

  • Указывайте полные URL, используя один и тот же синтаксис. Google будет сканировать в точности те URL, которые вы перечислите. Например, если адрес сайта – https://www.example.com/ , не указывайте URL https://example.com/ (без www ) или ./mypage.html (относительный).
  • Файл Sitemap может быть размещен в любой части сайта, но влияет только на каталоги уровнем ниже родительского. Поэтому если вам нужно, чтобы действие файла Sitemap распространялось на все разделы сайта, мы рекомендуем располагать его на корневом уровне.
  • Не указывайте в добавляемых URL идентификаторы сеансов. Это может привести к избыточному сканированию страниц.
  • Отмечайте иноязычные версии страницы атрибутом hreflang.
  • Файлы Sitemap должны создаваться в кодировке UTF-8, а в URL необходимо применять экранирование.
  • Разбивайте большие файлы Sitemap на файлы поменьше. Файл Sitemap может содержать до 50 000 URL и не должен занимать больше 50 МБ в несжатом виде. Вместо отдельных файлов Sitemap отправляйте в Google их индекс.
  • Включайте в файлы Sitemap только канонические URL. Если у вас две версии страницы, укажите только ту, которая должна появляться в результатах поиска. Если у вас две версии сайта (например, с префиксом www и без него), выберите основную и разместите файл Sitemap в ней, а на страницы второго сайта добавьте атрибут rel=canonical или реализуйте на них переадресацию.
  • Если у мобильной и обычной версии страницы разные URL, советуем указывать только одну из них. Если все же требуется включить в файл оба URL, добавьте для них аннотации, чтобы обозначить эти версии.
  • Используйте файлы Sitemap с расширенным синтаксисом для указания дополнительных MIME-типов, в частности изображений, видео и новостей.
  • Если существуют версии страницы на других языках или для других регионов, вы можете указать их с помощью атрибута hreflang в файле Sitemap или тегах HTML.
  • Символы помимо букв латинского алфавита и цифр требуют особого обращения. Файл Sitemap обязательно должен быть в кодировке UTF-8 (обычно ее можно выбрать при сохранении). Как и в любых других XML-файлах, при вводе значений (включая URL) необходимо экранировать символы в соответствии с приведенной ниже таблицей. Файл Sitemap может содержать только символы ASCII. В нем не должно быть расширенных символов ASCII, определенных управляющих кодов и специальных символов, таких как * и <> . Если они содержатся в URL, то при попытке добавить файл появится сообщение об ошибке.
    НазваниеСимволКод экранирования
    Амперсанд&&amp;
    Одинарные кавычки&apos;
    Двойные кавычки«&quot;
    Больше>&gt;
    Меньше<&lt;

Кроме того, все URL (включая адрес вашего файла Sitemap) должны быть правильно экранированы и закодированы, чтобы их мог обработать веб-сервер. Обычно это выполняется автоматически, если для создания URL вы применяете какой-либо скрипт, инструмент или файл журнала, то есть не вводите адреса вручную. Если при отправке файла Sitemap вы получаете оповещение о том, что Google не удалось найти ваши URL, убедитесь, что они соответствуют стандарту RFC-3986 для URI, стандарту RFC-3987 для IRI и стандарту XML.

Ниже приведен пример URL, где есть символ, не относящийся к кодировке ASCII ( ü ), а также символ, который требует экранирования ( & ):

Этот же URL в кодировке ISO-8859-1 (для размещения на сервере, использующем ее) и с экранированием:

Этот же URL в кодировке UTF-8 (для размещения на сервере, использующем ее) и с экранированием:

Этот же URL, содержащий маскирование:

Как создать файл Sitemap

Создавая файл Sitemap, вы сообщаете поисковым системам, какие из ваших URL следует выбирать для показа в результатах поиска. Такие URL называются каноническими. Если вы разместили одинаковый контент по нескольким URL, выберите основной вариант страницы и включите в файл Sitemap только его.

Выбрав URL, которые следует добавить в файл Sitemap, создайте его одним из перечисленных ниже способов. Оптимальный вариант будет зависеть от архитектуры и размеров сайта.

  • Файл Sitemap можно сгенерировать с помощью системы управления контентом.
  • Если в файле несколько десятков URL или меньше, попробуйте создать его вручную.
  • Если ожидается, что файл Sitemap будет очень велик, создавайте его автоматически.

Как создать файл Sitemap с помощью системы управления контентом

Если вы работаете с системой управления контентом, такой как WordPress, Wix или Blogger, то возможно, что она уже сгенерировала файл Sitemap, доступный поисковым системам. Попробуйте найти сведения о том, как ваша система управления контентом создает файлы Sitemap, или о том, как подготовить такой файл, если она не сделала этого автоматически. Например, если вы работаете с Wix, введите в Google Поиске запрос «wix sitemap».

Читайте так же:
Как отправлять гифки в Ватсапе

В остальных случаях вам потребуется создать файл Sitemap самостоятельно.

Как создать файл Sitemap вручную

Если вы планируете добавить в файл Sitemap не более чем несколько десятков URL, его можно будет создать вручную. Для этого откройте текстовый редактор, такой как Блокнот (Windows) или nano (Linux, macOS), и начните вносить в новый файл данные в соответствии с синтаксисом, который описан в разделе Форматы файлов Sitemap выше.

Вручную можно создавать и крупные файлы Sitemaps, но это очень трудоемкий процесс.

Как создать файл Sitemap автоматически

Если вам нужно включить в файл Sitemap множество URL, то удобнее будет создавать его автоматически. Сгенерировать файл Sitemap можно с помощью различных инструментов, но лучше всего воспользоваться для этого средствами вашего сайта. Например, вы можете извлечь URL, относящиеся к сайту, из его базы данных и экспортировать эти адреса на экран или в файл на вашем веб-сервере. При необходимости обратитесь к разработчикам или менеджеру сервера. Ознакомьтесь с нашей подборкой сторонних генераторов файлов Sitemap: вы можете создать на их основе аналогичный инструмент.

Как сделать файл Sitemap доступным для Google

Файл Sitemap анализируется только при первом его обнаружении, а не при каждом сканировании сайта. Чтобы файл был обработан повторно, сообщите нам, что данные в нем изменились. Это делается с помощью запроса ping. Не добавляйте несколько раз одинаковые файлы Sitemap и не отправляйте запросы ping, если в файл не вносились изменения и он не новый.

Если вы обновляли страницы, включенные в такой файл, отметьте их с помощью поля <lastmod> . В XML-файлах других типов есть аналогичные поля (например, в Atom XML это поле <updated> ). Подробнее о том, как определить нужную дату…

Предоставить Google доступ к файлу Sitemap можно несколькими способами:

  • Отправьте файл через интерфейс специального отчета.
  • Выполните запрос ping. В браузере или командной строке отправьте запрос GET на приведенный ниже адрес, указав полный URL файла Sitemap и убедившись, что этот файл доступен:

Устранение неполадок, возникающих при обработке файлов Sitemap

Except as otherwise noted, the content of this page is licensed under the Creative Commons Attribution 4.0 License, and code samples are licensed under the Apache 2.0 License. For details, see the Google Developers Site Policies. Java is a registered trademark of Oracle and/or its affiliates.

Как создать карту сайта (sitemap.xml)

XML-карта сайта нужна для быстрой индексации и переиндексации страниц поисковыми системами. С одной стороны, это не обязательно. Да, поисковой робот может составить список страниц для индексации по внешним ссылкам, а также переходя по меню, внутренним ссылкам и так далее.

Используя sitemap.xml, мы можем помочь поисковому роботу, сообщим, какие страницы нужно проиндексировать. Таким образом, мы можем лучше контролировать процесс, подсказать поисковым системам, какие именно страницы точно должны попасть в индекс. А также это ускорит процесс индексации.

Кроме этого, в sitemap.xml можно указать приоритет страниц, указав тем самым, какие страницы поисковая система должна проиндексировать в первую очередь.

А также дату обновления страницы. Это позволяет подсказать поисковой системе, нужно ли переиндексировать страницу, которую ранее робот уже посещал, мог ли контент на странице обновиться.

Важность xml-карты зависит от вашего портала. Если это сайт-визитка примерно на 10-20 страниц, то у поисковых систем не будет проблем с полной индексацией. Но в тоже время, если мы говорим о громадном интернет-магазине, критически важно, чтобы поисковая система узнала о всех наших каталогах, страницах с товарами и так далее. Поэтому нужно помочь им полностью и корректно проиндексировать наш сайт.

Но не забывайте самое главное:

Поисковые системы могут не точно следовать содержанию XML-карты. Мы просто советуем проиндексировать страницы, указанные в этом файле. Поисковые систем могут как воспользоваться этим, так и проигнорировать.

Как создать карту сайта sitemap.xml

Создать XML-карту сайта можно множеством способов, и не пугайтесь, ни один из них не требует навыков программирования. Мы разберем каждый из них ниже.

Среди них нет лучшего или худшего. Выбирайте подходящий способ, в зависимости от ситуации, на какой платформе сделан сайт.

Создание sitemap.xml с помощью модулей для CMS

Если вы используете какую-либо популярную CMS, то для нее уже есть готовые плагины. Достаточно просто установить нужный плагин и настроить его работу.

Создание карты сайта для WordPress

Плагин Google XML Sitemaps, который поможет создать карту url адресов для сайтов на Вордпресс можно скачать по ссылке с официального репозитория WordPress (https://ru.wordpress.org/plugins/google-sitemap-generator/). Либо через поиск плагинов в самом WordPress:

Поиск плагина в репозитории через админку WordPress

Обратите внимание, что в поиске нужно написать «Auctollo XML Sitemaps», иначе поиск будет выдавать вам другие плагины с похожим функционалом.

Настройки плагина достаточно простые, но на всякий случай, разберем и их.

В первую очередь, включаем уведомление Google о новых страницах, а также добавление ссылки на sitemap.xml в файл robots.txt.

Также советую включить и уведомления для поисковой системы Bing. Особой популярностью в России она не пользуется, но почему бы не добавить, если мы все равно ничего не теряем.

Не забудем установить сжатие:

Настройки базовых параметров плагина XML Sitemap

Далее нужно настроить, какие типы страниц должны отображаться в sitemap.xml.

Это определяется индивидуально для каждого сайта. Здесь нужно выбрать те категории, страницы которых мы планируем продвигать в поисковых системах. Скорее всего, это точно будут:

  • Домашняя страница;
  • Статьи;
  • Статичные страницы.

А остальные категории под вопросом. Все зависит от того, находится ли на них уникальный контент, который вы собираетесь продвигать через SEO. Например, если у вас на странице меток присутствует уникальный контент, то отмечайте и эту категорию тоже.

Но самый распространенный вариант заполнения этого блока, такой:

Кроме этого, мы можем более точно указать, какие страницы должны попадать в индекс поисковых систем, путем исключения неподходящих страниц или категорий.

Для этого используется следующий блок настроек:

Таким образом, мы можем добавить все статьи в карту сайта, но исключить статьи категории «Без рубрики», или конкретные посты, указав их ID через запятую в нижнем блоке под скриншотами.

Помимо этого, мы можем указать, как часто обновляются страницы. Чтобы поисковые системы понимали, нужна ли переиндексация страницам. Но тут важно учитывать, что это скорее совет, а не требования. И поисковой бот может проигнорировать указанные инструкции. Поэтому этот блок можно оставить без внимания.

Настройки частоты обновления страниц по-умолчанию

Последний важный блок настроек, это уровень приоритета страниц. Как нетрудно догадаться, через него мы устанавливаем приоритет для обхода поисковым роботом, на какие страницы он первым делом должен обратить внимание.

Настройки с выбором приоритета страниц

Лучше всего его не изменять, если боитесь ошибиться в приоритете. Но в особых ситуациях он может пригодиться. Например, если вам срочно нужно переиндексировать страницы статей, то можно им поставить наивысший приоритет.

Главное, не забыть потом вернуть стандартные настройки.

Создание карты сайта для Joomla

Плагин OSMap по аналогии с WordPress, можно скачать с официального репозитория компонентов Joomla (https://extensions.joomla.org/extension/osmap/). Советую использовать именно его, так как он бесплатный, но при этом поддерживается разработчиком (последнее обновление 22 февраля 2021, на момент написания статьи) и имеет высокий рейтинг.

Подробно его разбирать нет необходимости, т.к. все настройки одинаковые для подобных плагинов, а мы их крайне подробно уже разобрали выше.

Создание sitemap.xml с помощью онлайн-сервисов

Главное отличие онлайн-генераторов xml-карты сайта от плагинов для CMS в том, что мы создаем ее вручную, и автоматически она обновляться не будет. Более того, мы получаем sitemap.xml, которую еще нужно самостоятельно загрузить на сервер.

Но в том случае, если на нашем сайте не установлена CMS, а добавить sitemap.xml необходимо, онлайн-генератор будет отличным решением. К тому же, если новые страницы появляются не часто, а их кол-во не превышает 1000, то этого вполне хватит.

Если же сайт часто обновляется, имеет большое кол-во страниц, критически важно регулярно обновлять sitemap.xml, то нужно задуматься о переезде на CMS.

Но нужно учитывать, что хоть большинство онлайн-сервисов по генерации карт бесплатные, у них либо есть лимит на кол-во страниц, либо по достижению определенного лимита, дальнейшее сканирование будет стоить денег за каждую дополнительную страницу.

Онлайн-генераторов XML-карт сайтов довольно много, самые популярные из них:

  • https://www.xml-sitemaps.com/
  • https://xmlsitemapgenerator.org/
  • https://www.web-site-map.com/
  • https://www.mysitemapgenerator.com/ru/

Значимой разницы между ними нет, все они работают по одному принципу — как и поисковой бот, сканируют сайт, переходя по его ссылкам.

Это тоже можно записать в список минусов, ведь плагин, установленный на CMS, знает все страницы, и точно добавит их в карту. А краулер сервера может и не найти какую-либо страницу, если на нее не будет ссылки.

Но это не особо критичная проблема, учитывая, что если на вашем сайте нет ссылки на важную страницу, то это срочно нужно исправлять.

Кроме online-генераторов XML-карты, можно воспользоваться сервисами по SEO-аудиту сайта. У некоторых их них в качестве одного из доступных инструментов есть генератор XML-карты. Например, у Сайт Репорта (https://tools.saitreport.ru/xml-sitemap-generator).

Создание sitemap.xml с помощью софта

Кроме уже рассмотренных плагинов и онлайн-сервисов, есть еще один тип инструментов, который может решить нашу задачу. Это софт для компьютеров, использующийся главным образом SEO-специалистами. Такие программы позволяют просканировать сайт, собрать информацию о страницах, заголовках, мета-данных и ошибках.

Но так как они сканируют все страницы, то и функционал создания sitemap.xml в них тоже заложен. Есть как бесплатные, так и платные программы. Далее о них и поговорим.

Создание sitemap.xml в Xenu

Полностью бесплатная программа. Основное ее назначение — проверка сайта на битые гиперссылки. Но нас сейчас интересует именно создание карты сайта.

Для этого в верхнем меню программы выбираем File, затем Check URL:

В появившемся окне вписываем URL-адрес и нажимаем OK. Остальные окна заполнять не нужно.

После того, как проверка завершится, снова открываем меню File, только теперь нам нужен пункт Create Google Sitemap file:

Задаем файлу название sitemap.xml и сохраняем. Как подключить такую карту к сайту, рассмотрим ниже, после обзора всех программ.

Создание sitemap.xml в Screaming Frog

Более профессиональная программа, которая предоставляет значительно больше возможностей, чем Xenu. Поэтому она уже условно-бесплатная. Вы можете пользоваться ей бесплатно, но только после сканирования 500 ссылок с одного сайта она останавливает парсинг, а продолжит только после покупки лицензии. Учитывайте, что это не 500 страниц, а именно ссылок. На изображения, скрипты и т.д.

Если сайт небольшой, то этого объема хватит для работы. Платная же версия безлимитна, но стоит £149.00 (фунтов, то есть где-то 15 500 рублей) в год.

Процесс генерации XML-карты в Screaming Frog почти не отличается от Xenu. Вверху посередине программы строка для указания URL-адреса:

Вводим и нажимаем на Start и ждем окончания парсинга. После этого в верхнем меню выбираем пункт Advanced Export, затем XML Sitemap.

И таким же способом сохраняем файл у себя на компьютере.

Создание sitemap.xml в Comparser

Как и Screaming Frog, Comparser — это программа, которой пользуются SEO-специалисты для профессиональных отчетов, и также является условно-бесплатной. Бесплатная версия ограничена 150 страницами сайта, после чего останавливает парсинг и требует оплатить полную версию.

При запуске, Comparser предложит на выбор купить лицензию, или запустить демо-версию. Выбираем демо-версию:

Далее действуем уже по известному сценарию: указываем URL-адрес и скачиваем карту сайта. Для этого нажимаем на кнопку Запустить:

В появившемся окне указываем URL-адрес:

Также можем выбрать более точные настройки для парсинга. Рекомендую указать галочки как на скриншоте, чтобы вписаться в лимит 150 страниц. Чтобы не тратить лимит на внешние ссылки, и закрытые в robots от индексирования внутренние.

После этого выбираем в верхнем меню пункт Sitemap, и далее Создать Sitemap.xml:

Подробных настроек Comparser нам не предложить, далее просто скачаем файл с sitemap.xml.

Подключение XML-карты к сайту

Если мы создаем sitemap.xml через плагин для CMS, то всю работу за нас делает сам плагин, и карту загружает, и регулярно обновляет ее. Но при использовании других способов создания XML-карты сайта, нам это нужно будет сделать самостоятельно.

Загрузка sitemap.xml на сервер

Для этого понадобится любой менеджер загрузки файлов на сервер (например, Filezilla), либо доступы к хостингу. Используя любой из этих способов, нам нужно загрузить карту в корень. Чтобы она была доступна по адресу site.ru/sitemap.xml

Добавление ссылки на sitemap.xml в robots.txt

Кроме этого, необходимо добавить в файл robots.txt директиву о том, где находится sitemap.xml.

Добавляем строку «Sitemap: https://доменсайта.ru/sitemap.xml» в конец файла robots.txt

Пример нашего файла robotx.txt:

Добавление sitemap.xml в поисковые системы

Основные действия, которые были необходимы, мы уже сделали. Карта сайта в любом случае будет просканирована поисковыми системами. Но мы можем им помочь, а также ускорим тем самым процесс индексации.

Добавление sitemap.xml в панели вебмастера Yandex

Переходим в кабинет вебмастера в Яндексе по адресу https://webmaster.yandex.ru/. Нас интересует блок с меню слева, а именно Индексирование, Файлы Sitemap:

На открывшейся странице будет только одна форма с добавлением карты sitemap:

Боковое меню Яндекс.Вебмастера

После этого остается только положиться на Яндекс и ждать индексации страниц. Сам Яндекс на странице сообщает, что это может занять 1-2 недели.

Добавление sitemap в панели вебмастера Google

Работа с панелью вебмастера от Google не особо отличается. Все также обращаемся к боковому меню, но на этот раз ищем пункт «Файлы Sitemap»:

Аналогично Яндекс, по середине страницы будет располагаться форма для отправки URL вашего sitemap:

Помимо этого, Google предлагает на этой же странице ознакомиться с информацией по обработке файла, а также выведет ошибки, если они присутствуют в файле.

Какой способ создания xml-карты сайта лучше выбрать?

В этой статье рассмотрено несколько способов, и после их детального разбора, обсудим, чем они отличаются, и какой из них лучше.

Через плагин

Преимущества: обновляется автоматически, подробные настройки, не нужно вручную загружать сайт

Недостатки: сайт обязательно должен работать на CMS, чтобы можно было воспользоваться этим способом

Через онлайн-генератор

Преимущества: можно использовать на сайте, даже если нет CMS

Недостатки: ограничение на кол-во страниц, либо доп. оплата страниц, онлайн-сервис в нужный момент может быть недоступен

Через программу

Преимущества: можно использовать на сайте, даже если нет CMS, работает на вашем компьютере, а значит нет зависимости от сайта сервиса

Недостатки: ограничения на кол-во страниц, либо платно

Единственно верного и оптимального варианта нет, выбирайте способ в зависимости от вашей ситуации. Если сайт работает на CMS, однозначно лучше использовать плагин для этой CMS.

Если же CMS у сайта нет, либо она самописная, придется выбирать между другими способами. Если есть платная версия, которой пользуются SEO-шники, лучше выбрать ее. Либо делать выбор между софтом и онлайн-сервисами. Если боитесь зависеть от доступности онлайн-генераторов, переходите на софт.

Карта сайта (файл Sitemap) от А до Я

Sitemap или Карта сайта – специально созданный файл с перечнем страниц ресурса, которые необходимо проиндексировать.

Зачем нужен файл Sitemap

Существует два вида Карты сайта, которые различаются форматами и назначением:

HTML-карта

Её составляют для пользователей, чтобы упростить им навигацию по страницам сайта. Это необязательный элемент, такую карту можно составить на большом сайте со сложной иерархией для удобства пользователей.

XML-карта

Нужна для поисковых ботов, она важна для SEO, так как помогает ботам индексировать страницы ресурса.Наличие этого файла подсказывает поисковым роботам, как именно организована структура сайта. Соответственно, Яндекс, Google, Bing и другие поисковики получают возможность более качественно индексировать проект.

В этом материале разберем создание XML-карты.

Для чего нужна Карта сайта:

  1. Ускорить процесс полной индексации.
    Поисковые роботы Google могут пропустить недавно созданные или измененные страницы, а Карта поможет в них ориентироваться.
  2. Дать дополнительную информацию.
    В Карте указывают дополнительные рекомендации для робота: делают пометки о важности страницы, частоте и дате обновления.
  3. Отобразить количество проиндексированных URL
    Сигналы из Sitemap нужны в том числе для отображения проиндексированных ссылок в Search Console.
  4. Ускорить процесс пакетной деиндексации.
    Для этого создают временный файл Sitemap, в который включают страницы для удаления. Об этом рассказал Джон Мюллер, он рекомендует обязательно указать дату последнего изменения страниц, когда им был присвоен код ошибки 404 или атрибут noindex. Так Google будет знать, что необходимо заново просканировать содержимое сайта. Через несколько месяцев эту временную карту сайта можно будет убрать.

При этом даже если Google найдет ссылку в Sitemap, но ее не будет в навигации, он не придаст ей веса и не проиндексирует. Ссылки в Карте сайта — это рекомендации, важнее всего составить грамотную структуру сайта, в которой поисковый робот найдет все нужные страницы.

В большинстве случаев грамотной внешней и внутренней перелинковки страниц достаточно, чтобы поисковые роботы узнали о всем содержимом сайта. Лендингам, небольшим корпоративным сайтам из пары страниц, одностраничным визиткам Карта сайта и не нужна — бот разберется в страницах без труда. Карты нужны для сайтов, которые сложно краулить, поэтому для остальных проектов ее рекомендуют создать.

Карта обязательно нужна сайтам с такими признаками:
  • Проект создан недавно, у него мало внешних ссылок. В этом случае поисковому боту сложнее найти сайт.
  • В структуре сайта много архивов веб-документов, не связанных между собой.
  • У проекта большое количество страниц, разделов и подразделов;
  • В структуре преобладают динамические страницы.
  • На сайте есть мультимедийный контент. Бот сможет получить дополнительную информацию из Sitemap для показа в результатах поиска.

Поисковые системы могут не проиндексировать все нужные страницы таких сайтов, если не предложить краулерам файл Sitemap. Разберем, как его создать.

Базовые критерии создания файла Sitemap

У поисковиков есть свои требования к составлению Карты сайта, о которых нужно помнить веб-мастеру.

Общие требования к Sitemap:
  1. Количество URL-адресов в файле Sitemap не должно превышать 50 тысяч. Если их больше, необходимо создать несколько отдельных Карт сайта, которые прописывают в файле индекса Sitemap. По словам официального представителя Google, для этого достаточно создать несколько отдельных файлов Sitemap, не больше 50 тысяч ссылок каждая, а в сумме ссылок может быть больше лимита. После этого для нескольких Карт создают общий материнский файл Sitemap.
  2. Максимальный размер файла – 50 Мб. Файл можно уменьшить при помощи сжатия gzip, но в несжатом виде он все равно должен быть меньше 50 Мб.
  3. Файл Sitemap должен находиться на том же домене, что и веб-сайт, для которого он создан.
  4. Можно использовать кодировку UTF-8, а также латинские буквы и цифры. на обращение к файлу Sitemap должен быть HTTP-статус с кодом 200 OK.
  5. URL идентификаторы сессий не должны быть в Карте сайта.
  6. Ссылки должны иметь одинаковый синтаксис.
  7. В Карте указаны только канонические URL.
  8. Карта не конфликтует с информацией в robots.txt — если в robots.txt какие-то страницы закрыты от индексации, то их не должно быть в Карте.

Подробнее о требованиях есть в Справке Google и на странице Помощи Яндекса.

Некоторые веб-мастеры беспокоятся о порядке ссылок в файле, но представитель Google Джон Мюллер сказал, что очередность не имеет значения вообще, главное — поместить в Sitemap самые важные канонические ссылки.

Допустимые форматы Карты сайта

Особое требование предъявляется к формату файла Sitemap. Карту сайта можно создать в виде XML-файла, текстового файла или посредством RSS, mRSS и Atom 1.0. Яндекс указывает, что поиск не поддерживает передачу RSS и Atom-фидов с помощью Sitemap. Если ориентируетесь на разные поисковые системы, используйте формат XML. Правила создания файла описаны в стандарте.

Служебные теги Sitemap

Обязательные теги Карты сайта:

  • — контейнер с указанием стандарта протокола;
  • — родительский тег для каждой записи URL-адреса;
  • — указание URL, начинается с префикса, к примеру, http или https.
  • — частота обновления веб-документа с атрибутами never, always, yearly, monthly и так далее;
  • — дата последнего обновления на странице;

— указание разной важности страниц ресурса от 0,1 до 1, определяет очередность обработки URL на этом сайте. Google его не поддерживает. Приоритет можно дать самым важным страницам и нет смысла указывать высокий приоритет всем ссылкам, тогда тег вообще ни на что не повлияет.

Другие языковые версии сайта указывают с помощью атрибута hreflang.

Пример Карты сайта в формате XML

Sitemap для PR-CY.ru, если бы он состоял из одной страницы и содержал упомянутые теги, мог бы выглядеть так:

Как создать и где разместить файл Sitemap?

При желании составить Карту сайта можно вручную, но это слишком трудозатратно и бессмысленно — Карта сайта должна быть динамической, если вы регулярно обновляете сайт — публикуете новые записи в блоге, развиваете интернет-магазин. Лучше создавать файл Sitemap автоматически, обратившись к услугам бесплатных онлайн-сервисов и плагинов для CMS.

Сервисы для создания Sitemap

    Сделает Карту для небольших сайтов до 500 страниц бесплатно и без регистрации, для обновляемого файла с большим количеством страниц нужно подключить PRO-аккаунт, которые дает много дополнительных преимуществ с анализом ссылок. Есть PHP-скрипт для установки на своем сервере. Бесплатное онлайн-создание файла карты до 5000 страниц.
    генератор SitemapРабота онлайн-сервиса
CMS-плагины для создания Sitemap

Joomla: демо и платная версия OSMap, демо и платная jSitemap, бесплатная JL Sitemap.

1С-Битрикс: в админпанели в разделе «Маркетинг» есть «Настройка sitemap.xml».

После того, как Карта сайта готова, файл необходимо определить в корневую директорию. В этом случае ссылка, указывающая поисковым системам путь к файлу Sitemap, может выглядеть так: http://www.pr-cy.ru/sitemap.xml

Добавление Карты сайта в поисковые системы

Чтобы о новом файле Sitemap быстрее узнали поисковые роботы, веб-мастеру необходимо внести изменения в файл robots.txt, прописав в нем особую директиву, указывающую точный маршрут к Карте сайта:

Готовый файл Sitemap нужно проверить на ошибки и добавить в Яндекс или Google при помощи Яндекс.Вебмастера или Google Search Console.

Как удалить старую Карту сайта

При реорганизации контента и создании новых Sitemap нужно удалить старую Карту сайта. ​В панели Вебмастера Google нет такой функции, но сотрудник Google Джон Мюллер советует присвоить ссылке на файл ошибку 404. Если ссылка на Sitemap XML отдает код ошибки 404, то со временем поисковик автоматически перестанет учитывать этот файл.

Наличие у сайта правильно составленной Карты — не гарантия того, что поисковик проиндексирует все страницы. Sitemap — подсказка для поисковых ботов о том, как лучше сканировать ресурс. Тем не менее, если вы управляете не лендингом и не сайтом из нескольких страниц, составьте файл для своего проекта.

Безошибочный сайтмап для сайта

Вы просто кретин, если в свое время не уделили сайтмапу нужное внимание. Достаточно один раз разобраться в вопросе и в будущем избежать большого количества ошибок, что давайте сейчас и сделаем.

Ваш покорный слуга в годы младые также был таким кретином, когда только начал продвигать сайты в одной конторе. Попался мне в то время один сайтец на продвижение, который, следует сказать, был просто гавном. И у этого гавна были проблемы с индексацией. Естественно, будь сайт достаточно качественным, его бы оба поисковика индексировали несмотря ни на какие проблемы, но владельцы жались на нормальных дизайнера, верстальщика и программиста, а в этом случае сеошнику остается только, так сказать, открывать бутылку при помощи ножниц. Я перепробовал на нем все — и настройку last-modified, и ускорение индексации модным в то время фастботом, и покупку ссылок. И только потом оказалось, что дело было в том, что там не обновлялся автоматически сайтмап! Когда я его обновил — все страницы влетели в индекс.

Что такое sitemap и зачем он нужен

Что такое sitemap? Это файл с информацией о страницах сайта, которые нужно индексировать. Обычно sitemap создают для Яндекса и Гугла, чтобы оповестить поисковых роботов о страницах, которые нужно внести в индекс. Ещё при помощи сайтмапа осуществляется проверка того, как часто происходят обновления, и индексация каких веб-документов является наиболее важной. В целом очень хорошо о нем рассказали на Вебмастерской Яндекса:

Влияет ли наличие sitemap на продвижение

Если у вас отсутствует сайтмап, это не означает, что поисковики не станут индексировать ресурс. Поисковые роботы зачастую и без этого неплохо сканируют сайты и включают их в поиск. Но иногда могут возникать сбои, из-за которых порой удается отыскать не все веб-документы. Основными причинами являются:

  1. Разделы сайта, в которые можно попасть, только совершив длинную цепочку переходов;
  2. Динамические URL-адреса.

Так вот, создание sitemap.xml во многом помогает решить эту проблему. Этот файл влияет на SEO лишь постольку, поскольку облегчает/ускоряет индексацию страниц. Также возрастает шанс того, что веб-страницы проиндексируются до того, как ваши конкуренты смогут скопировать контент, опубликовав его у себя на сайте.

В каком еще формате бывает карта сайта и почему её делают в формате XML

Зачем нужна карта сайта, мы разобрались. Теперь давайте рассмотрим, в каких форматах её можно сделать:

  1. В формате html. Создается в виде обыкновенной страницы с адресами, ведущими на главные разделы ресурса. Такой тип карты помогает быстро сориентироваться, и рассчитан в большей степени на людей, чем на поисковых роботов. В HTML sitemap можно поместить ограниченное число ссылок (не более 100), ведь если их окажется больше, то не все они попадут в индекс. Или же поисковые роботы могут и вовсе исключить такую страницу из поиска за чрезмерное число URLов, пусть даже и внутренних.
  2. Создание xml-файла sitemap. Здесь нет слишком критичных ограничений по количеству ссылок, а поисковики лучше его индексируют, ведь файл sitemap xml-формата содержит полную информацию в понятном для робота виде. Особенно он важен для проектов, где имеются сотни и тысячи документов одинаковой важности, и размещение всех ссылок на них необходимо. В сайтмап такого типа есть возможность разместить до 50 тысяч URLов и помимо этого можно выставить частоту обновлений и приблизительный приоритет (priority), чего не скажешь о карте в формате HTML. Именно по этим причинам сайтмап почти всегда создают в xml.

Вот еще инфа об этом файле:

Как сделать правильный sitemap

Рассмотрим, как сделать правильную xml-карту. Здесь должны быть соблюдены следующие требования:

  1. Размер файла должен быть не больше 10 мб;
  2. Карта должна содержать не больше 50000 ссылок. В тех случаях, когда ссылок больше, можно создать несколько карт и включить их в главную xml-карту;
  3. Адрес сайтмапа следует прописать в robots.txt;
  4. Также загрузите sitemap в яндекс и гугл (как добавить файл – описано ниже);
  5. Поисковые системы должны иметь доступ к карте. Необходимо использовать специальные теги, которые дают поисковикам понять, что это именно карта, а не что-то другое;
  6. У sitemap должна быть кодировка UTF-8.

Приведу простой пример карты:

Теги url и loc являются обязательными. В первом прописывают все сведения о конкретном URL. Во втором прописывается сам адрес.

Теги lastmod, changefreq, priority не являются обязательными, но использовать их всё же рекомендуется.

Lastmod в sitemap отвечает за дату последнего обновления.

Changefreq указывает на частоту изменений страницы. Значения могут быть следующими:

  1. Hourly – обновление ежечасно;
  2. Always – всегда обновляется;
  3. Weekly – обновляется раз в неделю;
  4. Daily – обновления происходят ежедневно;
  5. Monthly – обновления происходят раз в месяц;
  6. Yearly – один раз в год;
  7. Never – не обновляется (такое значение лучше не использовать).

Priority сообщает поисковикам о степени важности страницы, по сравнению с другими. Приоритет можно выставлять от 0,1(низкий) до 1(высокий).

Это был только пример карты, не нужно указывать именно эти значения. Вообще, priority рекомендуется расставлять следующим образом: максимальный для главной страницы (1), для рубрик средний (0,6), а для записей – минимальный (0,4).

Теперь рассмотрим пример, когда ссылок более 50 тысяч. В этом случае файл включает в себя другие карты:

Как создать карту сайта

Способов создания xml-карты несколько, рассмотрим их:

  1. Скачать карту при помощи онлайн генератора с другого ресурса;
  2. Сгенерировать при помощи специальной программы. Но стоит учесть, что программы подобного рода в основном платные. Пример такого генератора: Wonder WebWare SiteMap Generatior. В Screaming Frog также есть такая возможность;
  3. Создать сайтмап вручную;
  4. Автоматически создать карту при помощи CMS (например на WordPress доступна такая функция).

Вот вариант, как сделать сайтмап без помощи плагинов:

Плагины для создания sitemap на WordPress

Сделать карту сайта в WordPress можно с помощью специального плагина, который называется Google XML Sitemaps. Здесь все просто: скачиваем плагин, устанавливаем, затем приступаем к созданию файла. Для этого открываете Консоль-Настройки, и выбираете XML-sitemap. Далее выставляем настройки. Приоритет оставляем по умолчанию.

После создания файл карты будет иметь следующий путь: http://site.ru/sitemap.xml

Кстати, имя карты можно заменить любым, главное здесь – это не менять расширение *.xml. Только нужно будет написать правильный путь к данному файлу в robots.txt.

Инструкция по настройке плагина:

Как проверить сайтмап и сообщить о нем поисковикам

Проверять sitemap на валидность можно, добавив его в вебмастер Гугла или Яндекса. Это самый простой способ, поисковики лучше всего скажут об ошибках.

Вот где проверка расположена в Яндекс Вебмастере:

proverit-sitemap

А вот где в инструментах Вебмастера Google:

proverit-sitemap-google

Дать Яндексу знать о сайтмапе можно путем добавления в robots.txt такого кода:

Далее в webmaster.yandex.ru нужно открыть «Файлы sitemap» (пункт меню «настройка индексации») и там написать адрес xml-карты.

По аналогии можно добавить sitemap и в Google. Только там «Файлы sitemap» находятся в другой вкладке — «Сканирование».

Нужно ли скрывать карту сайта

Некоторые параноидальные вебмастера прячут сайтмап, опасаясь за свой контент. Ведь при наличии карты сайта он может быть легко сворован. Файл содержит почти всю структуру сайта, все пути на его страницы, то есть с помощью карты мошенники легко смогут сделать дубли или локальные копии ресурса. Отсутствие же этого файла во многом затруднит «ворам» задачу.

Но побеждают те, кто считает, что не нужно скрывать карту сайта, и даже наоборот – необходимо создавать и отображать ее на своем ресурсе.

Даже ссылку в футере размещают на html-карту сайта. И это неплохо сказывается на индексации, так-то!

Ссылка на основную публикацию
Adblock
detector