robots.txt для форума phpbb

Управление индексацией форума с помощью специального файла

Обсуждаем здесь всё, что связано с оптимизацией форума под поисковые системы (Яндекс, Гугл и др.) и улучшением позиций в поисковой выдаче.
Shredder
Администратор
Сообщения: 1070
Зарегистрирован: 22.08.13 09:05
Благодарил (а): 133 раза
Поблагодарили: 264 раза
Контактная информация:

robots.txt для форума phpbb

Сообщение Shredder »

igorbond писал(а):Или она и форума захватила?
Именно.
1) Символ * означает любое количество любых символов, т.е. он захватывает и /forum/viewtopic.php, и /forum/viewforum.php.
2) По умолчанию к концу каждого правила, описанного в robots.txt, приписывается *, если только на конце правила не использован символ $, означающий конец страницы.
См. справку Яндекса:
http://help.yandex.ua/webmaster/control ... isk-dollar

Этим нужно пользоваться очень осторожно)
Мои моды и расширения для phpBB
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.
igorbond
Сообщения: 81
Зарегистрирован: 13.07.14 03:07
Благодарил (а): 17 раз
Поблагодарили: 4 раза

robots.txt для форума phpbb

Сообщение igorbond »

спасибо, будем ждать когда все вернется
Shredder
Администратор
Сообщения: 1070
Зарегистрирован: 22.08.13 09:05
Благодарил (а): 133 раза
Поблагодарили: 264 раза
Контактная информация:

robots.txt для форума phpbb

Сообщение Shredder »

Обнаружил хороший сервис для проверки robots.txt на любом сайте: http://webmaster.yandex.ru/robots.xml
Там можно загрузить ваш robots и список URL для проверки и узнать, какие страницы будут индексироваться роботом, а какие - нет, и почему.
robots-txt-checking.png
Рекомендация по проверке добавлена в первый пост темы, самым последним - четвёртым пунктом.
Мои моды и расширения для phpBB
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.
Аватара пользователя
Kuskow
Сообщения: 15
Зарегистрирован: 25.05.16 11:46
Благодарил (а): 1 раз
Поблагодарили: 1 раз

robots.txt для форума phpbb

Сообщение Kuskow »

Shredder писал(а):

Код: Выделить всё

Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php
Мне кажется, это можно сделать проще:

Код: Выделить всё

Clean-param: sid

А ещё такой вопрос. Google ругается на строки "Clean-param" - говорит, что это ошибка, даже если эти строки находятся в секции только для Yandex. Это плохо? Такие "ошибки" как-то понижают рейтинг или ещё что-нибудь?
Shredder
Администратор
Сообщения: 1070
Зарегистрирован: 22.08.13 09:05
Благодарил (а): 133 раза
Поблагодарили: 264 раза
Контактная информация:

robots.txt для форума phpbb

Сообщение Shredder »

Kuskow писал(а):Такие "ошибки" как-то понижают рейтинг или ещё что-нибудь?
Не беспокойтесь, ничего такого не будет. Файл Роботс - это просто рекомендации для поисковых систем от вебмастера. Он не влияет напрямую на ранжирование или на позиции в поисковых выдачах. Инструкции, которые не используются роботом, им просто игнорируются.
Мои моды и расширения для phpBB
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.
svyatgolden
Сообщения: 3
Зарегистрирован: 17.03.16 16:11
Благодарил (а): 2 раза

robots.txt для форума phpbb

Сообщение svyatgolden »

Актуален ли данный файл Роботс для phpbb 3.1?
Shredder
Администратор
Сообщения: 1070
Зарегистрирован: 22.08.13 09:05
Благодарил (а): 133 раза
Поблагодарили: 264 раза
Контактная информация:

robots.txt для форума phpbb

Сообщение Shredder »

svyatgolden
В принципе - да, в 3.1 всё то же самое, разве что нет файла style.php, так что строчку с его запретом можно убрать.

И добавил в первый пост одно важное примечание:

Внимание! Уберите из представленного образца robots строчку Disallow: /viewtopic.php?t=*, если у вас установлен hook mini seo (для 3.0), SEO Topic & Canonical URL (для 3.1) или каким-то иным образом убран идентификатор форума из ссылок на темы.
Мои моды и расширения для phpBB
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.
Аватара пользователя
Predator
Сообщения: 110
Зарегистрирован: 06.11.15 13:59
Благодарил (а): 11 раз
Поблагодарили: 7 раз
Контактная информация:

robots.txt для форума phpbb

Сообщение Predator »

Thinker писал(а):Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php
Google на это дело ругается, воспринимает, как ошибки.
Снимок.PNG
google error
Снимок.PNG (5.31 КБ) 3888 просмотров
google error
google error
Снимок.PNG (5.31 КБ) 3888 просмотров
Хотя, это всё-равно :)
G20
Сообщения: 2
Зарегистрирован: 06.09.22 10:41
Благодарил (а): 1 раз

robots.txt для форума phpbb

Сообщение G20 »

В предлагаемом примере файла непонятен следующий момент

Disallow: /index.php?

Не смог найти толкогвого разьяснения по поводу index.php
Его для каких то ситуаций не надо индексировать?
Shredder
Администратор
Сообщения: 1070
Зарегистрирован: 22.08.13 09:05
Благодарил (а): 133 раза
Поблагодарили: 264 раза
Контактная информация:

robots.txt для форума phpbb

Сообщение Shredder »

G20
После знака вопроса могут идти параметры, в этих случаях не надо. Простой index.php индексируется.
Мои моды и расширения для phpBB
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.
Ответить