robots.txt для форума phpbb

**Shredder** » 14.07.14 22:06

igorbond писал(а):Или она и форума захватила?

Именно.
1) Символ * означает любое количество любых символов, т.е. он захватывает и /forum/viewtopic.php, и /forum/viewforum.php.
2) По умолчанию к концу каждого правила, описанного в robots.txt, приписывается *, если только на конце правила не использован символ $, означающий конец страницы.
См. справку Яндекса:
http://help.yandex.ua/webmaster/control ... isk-dollar

Этим нужно пользоваться очень осторожно)

igorbond · **igorbond** » 14.07.14 22:09

спасибо, будем ждать когда все вернется

**Shredder** » 06.08.14 20:05

Обнаружил хороший сервис для проверки robots.txt на любом сайте: http://webmaster.yandex.ru/robots.xml
Там можно загрузить ваш robots и список URL для проверки и узнать, какие страницы будут индексироваться роботом, а какие - нет, и почему.

robots-txt-checking.png (43.31 КБ) Просмотров: 3500

Рекомендация по проверке добавлена в первый пост темы, самым последним - четвёртым пунктом.

Kuskow · **Kuskow** » 13.06.16 05:03

Shredder писал(а):
Код: Выделить всё
Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php

Мне кажется, это можно сделать проще:

Код: Выделить всё

Clean-param: sid

А ещё такой вопрос. Google ругается на строки "Clean-param" - говорит, что это ошибка, даже если эти строки находятся в секции только для Yandex. Это плохо? Такие "ошибки" как-то понижают рейтинг или ещё что-нибудь?

**Shredder** » 13.06.16 06:47

Kuskow писал(а):Такие "ошибки" как-то понижают рейтинг или ещё что-нибудь?

Не беспокойтесь, ничего такого не будет. Файл Роботс - это просто рекомендации для поисковых систем от вебмастера. Он не влияет напрямую на ранжирование или на позиции в поисковых выдачах. Инструкции, которые не используются роботом, им просто игнорируются.

svyatgolden · **svyatgolden** » 20.06.16 22:34

Актуален ли данный файл Роботс для phpbb 3.1?

**Shredder** » 21.06.16 14:28

svyatgolden
В принципе - да, в 3.1 всё то же самое, разве что нет файла style.php, так что строчку с его запретом можно убрать.

И добавил в первый пост одно важное примечание:

Внимание! Уберите из представленного образца robots строчку Disallow: /viewtopic.php?t=*, если у вас установлен hook mini seo (для 3.0), SEO Topic & Canonical URL (для 3.1) или каким-то иным образом убран идентификатор форума из ссылок на темы.

Predator · **Predator** » 11.03.18 16:35

Thinker писал(а):Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

Google на это дело ругается, воспринимает, как ошибки.

: google error

Хотя, это всё-равно

G20 · **G20** » 06.09.22 10:53

В предлагаемом примере файла непонятен следующий момент

Disallow: /index.php?

Не смог найти толкогвого разьяснения по поводу index.php
Его для каких то ситуаций не надо индексировать?

**Shredder** » 12.09.22 18:04

G20
После знака вопроса могут идти параметры, в этих случаях не надо. Простой index.php индексируется.