robots.txt для форума phpbb

[Thinker]

Гугл пишет, что "Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.", общее количество проблем 24, а ссылки дает всего три.

[Shredder]

Это связано с так называемыми "важными темами" (или глобальными объявлениями), у которых нет родительского форума.
Вариант 1: забить и оставить как есть.
Вариант 2: убрать из robots.txt строки:
Disallow: /viewtopic.php?t=*

[Thinker]

Shredder, огромное спасибо!
Наверное поправлю robots.txt, пусть они индексируются тоже.

[userAx]

К robots.txt это не имеет никакого отношения.

а к чему тогда имеет? Таких ссылок, которые в яндексе выдаёт, как ошибочные около 1000

[Shredder]

У вас проблемы с настройками форума или сервера.

Добавлено спустя 1 час 19 минут 59 секунд:
userAx
Так, стоп, а что у вас за вопрос-то? Не вижу сообщения с описанием конкретно вашей проблемы. Если та же самая, что и у Thinker - при попытке перейти по ссылкам показывается сообщение "вы не авторизованы для просмотра вложения" или в Sitemap пишет "Формат документа не поддерживается", то к robots это никаким боком, проверяйте настройки.

[cefp]

Если брать форум из примера, как закрыть от индексации страницы с адресами вида:

Код: Выделить всё

http://www.trworkshop.net/forum/viewtopic.php?f=147&t=7885&start=126
http://www.trworkshop.net/forum/viewtopic.php?f=147&t=7885&start=125

[Shredder]

cefp
Правильно ли я понял, что вам нужно закрыть от индексации все страницы тем, кроме первой? Если да, то:

Код: Выделить всё

Disallow: /viewtopic*&start=*

Вот только к SEO это уже никакого отношения не имеет.

[cefp]

Не совсем. Нужно закрыть от индексации:

Код: Выделить всё

http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=01
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=02
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=03
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=04
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=05
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=06
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=07
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=08
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=09
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=10
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=11
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=12
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=13
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=14
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=15
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=16
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=17
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=18
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=19
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=10

При этом оставить открытыми для индексации:

Код: Выделить всё

http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=20
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=40

В теме из трех страниц получается несколько десятков дублей за счет того что можно открыть тему начиная с любого сообщения. Ссылок ведущих на страницы из первого блока на сайте нет. Ссылки из второго блока есть на сайте в виде ссылок с номерами страниц. При этом отсутствие ссылок не мешает роботам индексировать такие страницы.

[Shredder]

Каких дублей? Вы хоть раз видели, чтобы на каком-либо форуме индексировались подобные страницы? Таких "дублей" не бывает просто потому, что им взяться неоткуда - ссылок, не кратных числу сообщений на странице, в phpBB нет. А индексируются только те ссылки, которые реально присутствуют на страницах форума. Бот сам от себя ничего не добавляет: если есть ссылка на странице, он её проиндексирует; если нет, то "выдумывать" новые страницы, перебирая все варианты, он никогда не будет.

Добавлено спустя 4 минуты 41 секунду:
А на тот случай, если у вас пользователи "шалят" и размещают придуманные ими ссылки, то запретите им делать это административно. Через robots этого не сделаешь.

[cefp]

У меня есть подозрение, что такие ссылки могут появится если в настройках форума сделать число сообщений на странице не кратное 10. В стандартном движке есть такая функция.
Если это пользователи шалят, то как запретить административно? Например если они размещают ссылки на внешних сайтах.

По поводу роботс есть еще вопросы:
Можете ли Вы привести примеры какие страницы закрываются от роботов строками

Код: Выделить всё

Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*

из Вашего примера.

И второй вопрос: после перемещения темы в другой форум получаются дубли.
Например две страницы с разными адресами и одинаковым содержимым:

Код: Выделить всё

http://www.trworkshop.net/forum/viewtopic.php?f=26&t=52981
http://www.trworkshop.net/forum/viewtopic.php?f=9&t=52981

В индекс яндекса попала страница со старым адресом. Вопрос в том как закрыть старую страницу от индексации.
Есть еще вопрос как сделать ридерект со старых страниц, но это наверно вопрос для другой темы.

[Shredder]

если в настройках форума сделать число сообщений на странице не кратное 10. В стандартном движке есть такая функция.

Тогда это будет в порядке вещей и не будет являться дублем. Просто не нужно переключать это число на уже проиндексированном форуме.

Можете ли Вы привести примеры какие страницы закрываются от роботов строками

Был ответ на этот вопрос на предыдущей странице.

И второй вопрос: после перемещения темы в другой форум получаются дубли.

Здесь уже лучше ставить SEO-мод. Не все вопросы решаются с помощью robots, иначе бы SEO мод был не нужен.
Если хотите закрыть старую страницу от индексации через robots, то пропишите Disallow на её точный относительный путь. Типа:

Код: Выделить всё

Disallow: /forum/viewtopic.php?f=26&t=52981

Есть еще вопрос как сделать ридерект со старых страниц

SEO-мод делает это по умолчанию. Либо ковыряться в htaccess, если не хотите ставить его.

[cefp]

Спасибо за пояснения. Вот еще нашел дубли:
В яндекс попал адрес:

Код: Выделить всё

http://www.trworkshop.net/forum/viewtopic.php?f=16&t=4541

в гугл:

Код: Выделить всё

http://www.trworkshop.net/forum/viewtopic.php?t=4541

Наверно вот эта строка должна работать:

Код: Выделить всё

Disallow: /viewtopic.php?t=*

[Xisp]

Лучше настроить canonical url, на этих страницах он будет вести на каноничную версию, например на &start=25 будет &start=20.

[Evgen]

Подскажите пожалуйста в индекс яндекса вылез такой дубль forum.ru/viewtopic.php?f=7&p=105&sid=d82a645c4439d3978c6ce1fd63a5d6f ведущий на первую страницу топика, какой строкой в роботс убрать? В гугле такого нет, хотя правила одинаковые для роботов.

[Shredder]

Evgen

Код: Выделить всё

Disallow: /viewtopic.php*p=*

Есть в первом посте.