Правильная склейка сайтов для Яндекса и Гугла + Правильная склейка доменов с www и без, для всех ПС!

В начале Апреля я приобрёл себе сайт - pozitiv.16mb.com (мое самое первое детище). Но мне не понравилось доменное имя, да и привязано оно было к хостингу, то есть владельцем домена была Хостинг компания. Поэтому я решил перенести сайт на интернациональный домен.

Зарегистрировал домен p0zitiv.ru и перекинул на него сайт. Чтобы они были идентичными.

Подготовление к склейки сайтов

Многие советуют, что правильно клеить сначала для Яндекса, после того как он склеит можно начинать склеивать для Google. Потому что у этих поисковых систем отличаются методы склейки. Для Google используется 301 редирект, а Яндекс выявляет главное зеркало через директиву host в robots.txt. Но такой способ меня не устраивал, я хотел сразу склеить сайты для двух поисковиков одновременно, чтобы не терять время.

Склеиваем сайт под Google

Первым делом, надо перенести сайт на новый домен так, чтоб всё было идентично старому сайту.
После этого следует заняться настройкой под склеивания в Google. Для этого на старом сайте(pozitiv.16mb.com), я установил 301 редирект в файле .htaccess, выглядит он вот так:

Options +FollowSymLinks
RewriteEngine on
RewriteRule (.*) http://p0zitiv.ru/$1 [R=301,L]

То есть полное перенаправление со всех страниц на новый домен p0zitiv.ru.
После этого в Панели "Вебмастер Google" для старого домена указал новый адрес:

Вот и всё, настройки для склеивания сайта под Google закончены. А дальше самое интересное, настроить сайт так, чтобы Яндекс смог выявить главное зеркало, в данном случае домен p0zitiv.ru.

Определяем главное зеркало сайта для Яндекса

Напомню ещё раз, Яндекс для склейки сайтов использует файл robots.txt и то, что я поставил 301 редирект, по идеи считается не правильно, так как бот зеркальщик, когда будет заходить на сайт и смотреть файл robots.txt, редирект его будет перенаправлять на новый домен. Поэтому выход один, отключить редирект для файла robots.txt, чтобы бот Яндекса смог без проблем загружать его.

И так, первым делом надо добавить директиву host в файле robots.txt на старом сайте. У моего старого сайта pozitiv.16mb.com, файл robots.txt выглядит вот так:

User-agent: Yandex
Host: p0zitiv.ru

Важно! Для кириллических доменов в директиву Host домен необходимо писать в punycode (пуникодом)

После того, как указали главное зеркало, надо отключить редирект для robots.txt, отключается он в файле .htaccess, вот этим кодом:

<FilesMatch "robots.txt$">
	RewriteEngine off
</FilesMatch>

Теперь при запросе ботом Яндекса файла http://pozitiv.16mb.com/robots.txt, редирект не перенаправляет его на новый домен и Яндекс сможет увидеть файл robots.txt на старом сайте и прочитать какое у него главное зеркало.

Данный способ одновременной склейки для Яндекса и Google, подходит лишь в том случае, если вы согласны чтобы старый домен не индексировался Яндексом. Ведь бывают случаи, чтоб оба(или более) зеркал были доступны для Пользователей, тогда клеют сайты только для Яндекса с помощью файла robots.txt, а 301 редирект не используют.

Склеиваем домены с www и без www

Сначала необходимо сделать редирект всех ссылок на новый домен.
Для этого надо установить 301 редирект в файле .htaccess, например этот код будет перенаправлять все на домен БЕЗ WWW (не забудьте поменять домен p0zitiv.ru на свой):

Options +FollowSymLinks
RewriteEngine On
RewriteCond %{HTTP_HOST} ^www\.p0zitiv\.ru$ [NC]
RewriteRule ^(.*)$ http://p0zitiv.ru/$1 [R=301,L]

То есть полное перенаправление со всех страниц на новый домен p0zitiv.ru.
После этого в Панели "Вебмастер Google" и в панели "Яндекс.Вебмастер" необходимо указать основное зеркало сайта.

Вот и все настройки для склеивания доменов с www и без www закончены. А чтобы Яндекс смог выявить главное зеркало, в данном случае домен p0zitiv.ru, надо будет проделать трюк (описывал выше) с файликом robots.txt. На всякий случай напомню:

После того, как указали главное зеркало, надо отключить редирект для robots.txt, отключается он в файле .htaccess, вот этим кодом:

RewriteEngine off

Нюансы

Так же у меня возникла проблема - как добавить сайт в панель вебмастер Яндекса и Гугла?

Ведь надо подтвердить права на сайт, путём размещения файлов в корень сайта. Для этого, им тоже требуется отключить редирект чтобы проверяющие боты Яндекса и Google не уходили на новый домен. С помощью FilesMatch как в случае с robots.txt, у меня не получилось отключить редирект для файлов - подтверждалок, а заработала вот такая конструкция:

RewriteRule ^(google495dea0554e801b5\.html|yandex_748544efecfe9337\.html)$ - [L]

Проверить на склейку в обоих ПС можно сервисом от xseo.in

Вывод

Google склеил сайт примерно за две недели, трафик с Google сохранился полностью. Яндексу на определение главного зеркала, потребовалась приблизительно два месяца, после этого я получил вот такое письмо в "Панель Вебмастер":

Трафик с Яндекса после того как поставил 301 редирект упал практически до нуля и вот после 27 мая (день склейки) начал потихоньку восстанавливаться:

На этом всё, спасибо за внимание.