robots.txt для форума phpbb

[Shredder]

Или она и форума захватила?

Именно.
1) Символ * означает любое количество любых символов, т.е. он захватывает и /forum/viewtopic.php, и /forum/viewforum.php.
2) По умолчанию к концу каждого правила, описанного в robots.txt, приписывается *, если только на конце правила не использован символ $, означающий конец страницы.
См. справку Яндекса:
http://help.yandex.ua/webmaster/control ... isk-dollar

Этим нужно пользоваться очень осторожно)

[igorbond]

спасибо, будем ждать когда все вернется

[Shredder]

Обнаружил хороший сервис для проверки robots.txt на любом сайте: http://webmaster.yandex.ru/robots.xml
Там можно загрузить ваш robots и список URL для проверки и узнать, какие страницы будут индексироваться роботом, а какие - нет, и почему.

Рекомендация по проверке добавлена в первый пост темы, самым последним - четвёртым пунктом.

[Kuskow]

Код: Выделить всё

Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php

Мне кажется, это можно сделать проще:

Код: Выделить всё

Clean-param: sid

А ещё такой вопрос. Google ругается на строки "Clean-param" - говорит, что это ошибка, даже если эти строки находятся в секции только для Yandex. Это плохо? Такие "ошибки" как-то понижают рейтинг или ещё что-нибудь?

[Shredder]

Такие "ошибки" как-то понижают рейтинг или ещё что-нибудь?

Не беспокойтесь, ничего такого не будет. Файл Роботс - это просто рекомендации для поисковых систем от вебмастера. Он не влияет напрямую на ранжирование или на позиции в поисковых выдачах. Инструкции, которые не используются роботом, им просто игнорируются.

[svyatgolden]

Актуален ли данный файл Роботс для phpbb 3.1?

[Shredder]

svyatgolden
В принципе - да, в 3.1 всё то же самое, разве что нет файла style.php, так что строчку с его запретом можно убрать.

И добавил в первый пост одно важное примечание:

Внимание! Уберите из представленного образца robots строчку Disallow: /viewtopic.php?t=*, если у вас установлен hook mini seo (для 3.0), SEO Topic & Canonical URL (для 3.1) или каким-то иным образом убран идентификатор форума из ссылок на темы.

[Predator]

Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

Google на это дело ругается, воспринимает, как ошибки.

google error

Снимок.PNG (5.31 КБ) 7409 просмотров

google error

Снимок.PNG (5.31 КБ) 7409 просмотров

Хотя, это всё-равно

[G20]

В предлагаемом примере файла непонятен следующий момент

Disallow: /index.php?

Не смог найти толкогвого разьяснения по поводу index.php
Его для каких то ситуаций не надо индексировать?

[Shredder]

G20
После знака вопроса могут идти параметры, в этих случаях не надо. Простой index.php индексируется.