Закрыть некоторые разделы от индексации

vadimka22 · **vadimka22** » 26.01.17 09:56

Здравствуйте!

Имеется форум:

На форуме 3 категории.

Адреса тем имеют следующий вид:

адрес_форума/viewtopic.php?f=6&t=36 -->
на каждой странице темы прописан canonical <link rel="canonical" href="http://адрес_форума/viewtopic.php?t=36">

Нужно закрыть от индексации все темы из 1й и 2й категории, а в 3 категории оставить темы открытыми для индексации.

Есть карта сайта в которую попадают адреса в виде href="http://адрес_форума/viewtopic.php?t=36"

Можно ли сделать так, чтобы в карту сайта попадали адреса в виде адрес_форума/viewtopic.php?f=6&t=36 ?

Тогда бы я смог закрывать ненужные мне темы в robots.txt
Disallow: /*f=6&t=* #закрыл бы темы определенной категории
Disallow: /?t= #закрыл бы все темы форума с данным параметром

и убрать canonical.

**Shredder** » 26.01.17 11:37

У вас на сайте какие-то вирусы. Я удалил ссылки. Проверьтесь.

Да, можно. Установите это расширение и выберите в опциях нужный вам вид ссылок. Формат канонического тега будет совпадать с выбранным вариантом и его не нужно будет удалять.

Добавлено спустя 56 минут 22 секунды:
Темы из 1й и 2й категории можно добавить в исключённые через настройки, чтобы они не попадали в карту.

vadimka22 · **vadimka22** » 27.01.17 13:50

Домен оказался заблокирован Касперским. Буду переезжать на другой, чистый домен.
Если добавить параметр "f" к темам появляется новая проблема переноса тем в ктегории 3. Адреса будут меняться у тем. Например если я захочу перенести тему в другую категорию. Что тут можно придумать?

**Shredder** » 27.01.17 14:08

Вам нужно закрыть темы от индексации, но открыть темы для просмотра всеми, в том числе гостями? Если гостям темы не нужны, то установите им и ботам локальные права доступа "Может видеть форум: ДА" и "Может читать форум: НЕТ", и проверьте видимость форумов из-под учётки гостя. Боты Яндекса и Гугла при этом должны быть добавлены в группу Ботов. Или убрать видимость форумов только для ботов, оставив их для гостей, но как бы не было клоакинга в этом случае. Ведь, как известно, боты должны видеть то же самое, что и гости.
Если темы нужны всем, кроме Ботов, то можно установить пароль на форумы и написать его в описании к форуму. Тогда пользователи и гости смогут заходить и читать форум по паролю, а поисковые боты не смогут.

vadimka22 · **vadimka22** » 27.01.17 14:53

Shredder писал(а):Вам нужно закрыть темы от индексации, но открыть темы для просмотра всеми, в том числе гостями?

У меня форум объявлений. Хочу объявления закрыть от ботов из-за неуникальности объявлений. Это несколько категорий.

Но при этом хочу развивать разделы для общения пользователей (но с учетом того, что в будущем можно было бы переносить темы в соответствующие категории). Для этого мне нужны адреса вида
сайт.ru/viewtopic.php?t=36

Shredder писал(а):Если темы нужны всем, кроме Ботов, то можно установить пароль на форумы и написать его в описании к форуму. Тогда пользователи и гости смогут заходить и читать форум по паролю, а поисковые боты не смогут.

Не будет ли это отталкивать посетителей от размещения сообщений. И если я установлю пароль для ботов, то они не смогут читать ведь только разделы, а темы смогут читать, если делать ссылки такого вида сайт.ru/viewtopic.php?t=36

Еще дело в том, что форумы с объявлениями я бы оставил и для ботов (в категориях с объявлениями мне главное темы закрыть от индексации).

Коротко: нужно в одной категории объявлений закрыть темы от ботов, а в другой категории "общение" чтобы имелась возможность переносить темы без дублирования. :roll:

**Shredder** » 27.01.17 16:01

vadimka22 писал(а):И если я установлю пароль для ботов, то они не смогут читать ведь только разделы, а темы смогут читать, если делать ссылки такого вида

Темы они тоже не смогут читать, независимо от вида ссылок.

Тогда вам нужно поискать другое расширение для этих целей, карта сайта тут никак не поможет. Например, для выбранных форумов использовать мета-тег noindex на страницах его тем:
https://support.google.com/webmasters/a ... 3710?hl=ru
Боты смогут видеть и индексировать сам форум, но текст в темах индексировать не будут.

В принципе, такое расширение не трудно написать.

Добавлено спустя 24 минуты 42 секунды:
Посмотрел, можно и без расширения обойтись, что гораздо предпочтительней.
Откройте файл overall_header.html вашего стиля и найдите там строку:

Код: Выделить всё

{META}

Перед ней добавьте:

Код: Выделить всё

<!-- IF TOPIC_ID and (FORUM_ID eq XXX or FORUM_ID eq YYY) -->
<meta name="robots" content="noindex" />
<!-- ENDIF -->

Вместо XXX и YYY подставляйте ID нужных вам форумов и добавьте условие or FORUM_ID eq YYY столько раз, сколько форумов хотите закрыть с указанием ID каждого из них.
Очистите кеш, просмотрите исходный код страниц. В мета-тегах тем из выбранных форумов должен появиться новый тег.

vadimka22 · **vadimka22** » 28.01.17 12:44

Добавил перед

Код: Выделить всё

{META}

Код: Выделить всё

<!-- IF TOPIC_ID and (FORUM_ID eq f=8 or FORUM_ID eq f=2) -->
<meta name="robots" content="noindex" />
<!-- ENDIF -->

Загружаю на сервер выходит ошибка 500. У меня на сервере PHP 7.0

Добавлено спустя 20 минут 43 секунды:
Решил проблему, нужно было просто айди в виде числа добавить.

**Shredder** » 28.01.17 13:04

ID форума указывается просто числом... Без f=

vadimka22 · **vadimka22** » 28.01.17 13:05

Shredder - спасибо большое за помощь в вопросе