Здесь будет введение.
... долго думал ... рассматривал разные варианты ... пришел к выоду, что абсолютно все страницы сделаю со слэешем на конце.
Изменил файл .htaccess, потом поменял везде ссылки.
Пропарсил сайт и получил следующий список страниц сайта:
Их этого списка (изображение выше) получил список, который помещен в одну строку:
Этот список вставил в окошко Яндекс-вебмастера "Отслеживание изменений на важных страницах", предваритально удалив оттуд, все что было раньше. На следующий день получил вот такой список: (здесь только фрагмент списка)
Из списка важных страниц яндекс-вебмастера видно, что некоторые страницы не успели проиндексироваться (всего один день), а другие успели проиндексироваться, но яндекс не понял, что это одно и тоже и написал, что это дубли.
На всякий случай я проверяю код ответа сервера.
На изображении, которое ниже, видно, что ссылка без слэша отдает код 301.
А ссылка со слэшем на конце отдает код 200:
Список ссылок на данный момент, которые яндекс-мастер считает за дубли:
Их я отправил в "Переобход страниц" Яндекс-Мастера. Они встали в очередь, но не отклонились.
Видно, что робот из обошел примерно через 15 минут. После обхода робота я проверил статус этих URL, там написано «Страница обходится роботом, но отсутствует в поиске». и «Страница дублирует уже представленную в поиске страницу http://links-pro.ru/online-stores-development. Укажите роботу предпочтительный адрес с помощью 301 редиректа или атрибута rel="canonical".»
Слежу когда они в поиске появятся.
Сегодня и сейчас: 2018-02-07 12:07
Немного предыстории. Сначала этот сайт находился на домене 1C-Bitrix-1C.ru. Потом ко мне обратились из фирмы "Битрикс" и попросили не использовать этот домен, так как в имени домена содержится их торговый знак. Я перешел на домен 1C-bx-1C.ru. Потом ко мне обратились из фирмы 1С и сказали, что бы я ушел с этого домена, так как "1С" является их зарегистрированной торговой маркой, и я нарушаю их права. Я перенес сайт на домен "Links-Pro.ru" 20.11.2017, а на домене 1C-bx-1C.ru поставил редирект 302 через htaccess. И все это время Яндекс считал, что мой сайт является дорвеем и не пускал его в индекс. Я обращался к разным SEO-гуру и платным и бесплатным с вопросом "Почему мой сайт дорвей?", "Почему у моего сайта фатальная ошибка?", "Что мне нужно сделать, что бы мой сайт перестал быть дорвеем?". Я эксперементировал с разными вещами. Например, у меня был раздел с фотками, в котором сами фотки находились на другом домене. Мне посоветовали их убрать. Делал еще разные манипуляции по советам SEO-гуру. Результата ноль. Вот вчера сам решил перейти на ссылки со слешами на конце и сегодня у меня сайт не является дорвеем. Совпадение это или нет? C 20.11.2017 по 12-02-2018 (то есть, 82 дня) сайт был дорвеем, и вдруг за одну ночь перестал быть дорвеем и некоторые страницы попали в индекс ... Если кто не в курсе - если Яндекс признает сайт дорвеем, и, следовательно, у сайта "фатальная ошибка", то ни одна страница сайта не попадает в индекс.
Ходят, конечно, неподтвержденные слухи, что любой молодой сайт яндекс не пускает в индекс ... В общем вопрос "Почему мой сайт был дорвеем?" остается открытым.
Вот пример ссылки, которая уже попала в поиск:
На 2018-02-12 13:09 расклад такой:
В индексе:
Дубли: (их не должно быть, просто яндекс еще не успел это понять, потому что только вчера я перешел на слэши)
Все остальные страницы робот либо не посещал, либо посетил, но они в индекс не попали.