robots.txt для форума phpbb

Управление индексацией форума с помощью специального файла

Обсуждаем здесь всё, что связано с оптимизацией форума под поисковые системы (Яндекс, Гугл и др.) и улучшением позиций в поисковой выдаче.
Shredder
Администратор
Сообщения: 1066
Зарегистрирован: 22.08.13 09:05

Shredder » 14.07.14 22:06

igorbond писал(а):Или она и форума захватила?

Именно.
1) Символ * означает любое количество любых символов, т.е. он захватывает и /forum/viewtopic.php, и /forum/viewforum.php.
2) По умолчанию к концу каждого правила, описанного в robots.txt, приписывается *, если только на конце правила не использован символ $, означающий конец страницы.
См. справку Яндекса:
http://help.yandex.ua/webmaster/control ... isk-dollar

Этим нужно пользоваться очень осторожно)
Мои моды и расширения для phpBB
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.

igorbond
Сообщения: 81
Зарегистрирован: 13.07.14 03:07

igorbond » 14.07.14 22:09

спасибо, будем ждать когда все вернется

Shredder
Администратор
Сообщения: 1066
Зарегистрирован: 22.08.13 09:05

Shredder » 06.08.14 20:05

Обнаружил хороший сервис для проверки robots.txt на любом сайте: http://webmaster.yandex.ru/robots.xml
Там можно загрузить ваш robots и список URL для проверки и узнать, какие страницы будут индексироваться роботом, а какие - нет, и почему.



Рекомендация по проверке добавлена в первый пост темы, самым последним - четвёртым пунктом.
Мои моды и расширения для phpBB
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.

Аватара пользователя
Kuskow
Сообщения: 15
Зарегистрирован: 25.05.16 11:46

Kuskow » 13.06.16 05:03

Shredder писал(а):

Код: Выделить всё

Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php

Мне кажется, это можно сделать проще:

Код: Выделить всё

Clean-param: sid



А ещё такой вопрос. Google ругается на строки "Clean-param" - говорит, что это ошибка, даже если эти строки находятся в секции только для Yandex. Это плохо? Такие "ошибки" как-то понижают рейтинг или ещё что-нибудь?

Shredder
Администратор
Сообщения: 1066
Зарегистрирован: 22.08.13 09:05

Shredder » 13.06.16 06:47

Kuskow писал(а):Такие "ошибки" как-то понижают рейтинг или ещё что-нибудь?

Не беспокойтесь, ничего такого не будет. Файл Роботс - это просто рекомендации для поисковых систем от вебмастера. Он не влияет напрямую на ранжирование или на позиции в поисковых выдачах. Инструкции, которые не используются роботом, им просто игнорируются.
Мои моды и расширения для phpBB
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.

svyatgolden
Сообщения: 3
Зарегистрирован: 17.03.16 16:11

svyatgolden » 20.06.16 22:34

Актуален ли данный файл Роботс для phpbb 3.1?

Shredder
Администратор
Сообщения: 1066
Зарегистрирован: 22.08.13 09:05

Shredder » 21.06.16 14:28

svyatgolden
В принципе - да, в 3.1 всё то же самое, разве что нет файла style.php, так что строчку с его запретом можно убрать.

И добавил в первый пост одно важное примечание:

Внимание! Уберите из представленного образца robots строчку Disallow: /viewtopic.php?t=*, если у вас установлен hook mini seo (для 3.0), SEO Topic & Canonical URL (для 3.1) или каким-то иным образом убран идентификатор форума из ссылок на темы.
Мои моды и расширения для phpBB
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.

Аватара пользователя
Predator
Сообщения: 109
Зарегистрирован: 06.11.15 13:59

Predator » 11.03.18 16:35

Thinker писал(а):Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php
Google на это дело ругается, воспринимает, как ошибки.

Снимок.PNG
google error


Хотя, это всё-равно :)

G20
Сообщения: 2
Зарегистрирован: 06.09.22 10:41

G20 » 06.09.22 10:53

В предлагаемом примере файла непонятен следующий момент

Disallow: /index.php?

Не смог найти толкогвого разьяснения по поводу index.php
Его для каких то ситуаций не надо индексировать?

Shredder
Администратор
Сообщения: 1066
Зарегистрирован: 22.08.13 09:05

Shredder » 12.09.22 18:04

G20
После знака вопроса могут идти параметры, в этих случаях не надо. Простой index.php индексируется.
Мои моды и расширения для phpBB
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.

Ответить