robots.txt для форума phpbb

Управление индексацией форума с помощью специального файла

Обсуждаем здесь всё, что связано с оптимизацией форума под поисковые системы (Яндекс, Гугл и др.) и улучшением позиций в поисковой выдаче.
Thinker
Сообщения: 21
Зарегистрирован: 10.04.14 14:21
Откуда: Казахстан
Благодарил (а): 1 раз
Контактная информация:

robots.txt для форума phpbb

Сообщение Thinker »

Гугл пишет, что "Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.", общее количество проблем 24, а ссылки дает всего три.
Screen_1.JPG
Screen_2.JPG
Shredder
Администратор
Сообщения: 1073
Зарегистрирован: 22.08.13 09:05
Благодарил (а): 133 раза
Поблагодарили: 264 раза
Контактная информация:

robots.txt для форума phpbb

Сообщение Shredder »

Это связано с так называемыми "важными темами" (или глобальными объявлениями), у которых нет родительского форума.
Вариант 1: забить и оставить как есть.
Вариант 2: убрать из robots.txt строки:
Disallow: /viewtopic.php?t=*
Мои моды и расширения для phpBB
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.
Thinker
Сообщения: 21
Зарегистрирован: 10.04.14 14:21
Откуда: Казахстан
Благодарил (а): 1 раз
Контактная информация:

robots.txt для форума phpbb

Сообщение Thinker »

Shredder, огромное спасибо!
Наверное поправлю robots.txt, пусть они индексируются тоже.
userAx
Сообщения: 7
Зарегистрирован: 20.03.14 13:31

robots.txt для форума phpbb

Сообщение userAx »

Shredder писал(а):К robots.txt это не имеет никакого отношения.
а к чему тогда имеет? Таких ссылок, которые в яндексе выдаёт, как ошибочные около 1000 :?
Shredder
Администратор
Сообщения: 1073
Зарегистрирован: 22.08.13 09:05
Благодарил (а): 133 раза
Поблагодарили: 264 раза
Контактная информация:

robots.txt для форума phpbb

Сообщение Shredder »

У вас проблемы с настройками форума или сервера.

Добавлено спустя 1 час 19 минут 59 секунд:
userAx
Так, стоп, а что у вас за вопрос-то? Не вижу сообщения с описанием конкретно вашей проблемы. Если та же самая, что и у Thinker - при попытке перейти по ссылкам показывается сообщение "вы не авторизованы для просмотра вложения" или в Sitemap пишет "Формат документа не поддерживается", то к robots это никаким боком, проверяйте настройки.
Мои моды и расширения для phpBB
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.
cefp
Сообщения: 44
Зарегистрирован: 15.10.13 02:28

robots.txt для форума phpbb

Сообщение cefp »

Если брать форум из примера, как закрыть от индексации страницы с адресами вида:

Код: Выделить всё

http://www.trworkshop.net/forum/viewtopic.php?f=147&t=7885&start=126
http://www.trworkshop.net/forum/viewtopic.php?f=147&t=7885&start=125
Shredder
Администратор
Сообщения: 1073
Зарегистрирован: 22.08.13 09:05
Благодарил (а): 133 раза
Поблагодарили: 264 раза
Контактная информация:

robots.txt для форума phpbb

Сообщение Shredder »

cefp
Правильно ли я понял, что вам нужно закрыть от индексации все страницы тем, кроме первой? Если да, то:

Код: Выделить всё

Disallow: /viewtopic*&start=*
Вот только к SEO это уже никакого отношения не имеет.
Мои моды и расширения для phpBB
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.
cefp
Сообщения: 44
Зарегистрирован: 15.10.13 02:28

robots.txt для форума phpbb

Сообщение cefp »

Не совсем. Нужно закрыть от индексации:

Код: Выделить всё

http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=01
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=02
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=03
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=04
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=05
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=06
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=07
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=08
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=09
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=10
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=11
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=12
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=13
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=14
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=15
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=16
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=17
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=18
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=19
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=10
При этом оставить открытыми для индексации:

Код: Выделить всё

http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=20
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=40
В теме из трех страниц получается несколько десятков дублей за счет того что можно открыть тему начиная с любого сообщения. Ссылок ведущих на страницы из первого блока на сайте нет. Ссылки из второго блока есть на сайте в виде ссылок с номерами страниц. При этом отсутствие ссылок не мешает роботам индексировать такие страницы.
Shredder
Администратор
Сообщения: 1073
Зарегистрирован: 22.08.13 09:05
Благодарил (а): 133 раза
Поблагодарили: 264 раза
Контактная информация:

robots.txt для форума phpbb

Сообщение Shredder »

Каких дублей? Вы хоть раз видели, чтобы на каком-либо форуме индексировались подобные страницы? Таких "дублей" не бывает просто потому, что им взяться неоткуда - ссылок, не кратных числу сообщений на странице, в phpBB нет. А индексируются только те ссылки, которые реально присутствуют на страницах форума. Бот сам от себя ничего не добавляет: если есть ссылка на странице, он её проиндексирует; если нет, то "выдумывать" новые страницы, перебирая все варианты, он никогда не будет.

Добавлено спустя 4 минуты 41 секунду:
А на тот случай, если у вас пользователи "шалят" и размещают придуманные ими ссылки, то запретите им делать это административно. Через robots этого не сделаешь.
Мои моды и расширения для phpBB
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.
cefp
Сообщения: 44
Зарегистрирован: 15.10.13 02:28

robots.txt для форума phpbb

Сообщение cefp »

У меня есть подозрение, что такие ссылки могут появится если в настройках форума сделать число сообщений на странице не кратное 10. В стандартном движке есть такая функция.
Если это пользователи шалят, то как запретить административно? Например если они размещают ссылки на внешних сайтах.

По поводу роботс есть еще вопросы:
Можете ли Вы привести примеры какие страницы закрываются от роботов строками

Код: Выделить всё

Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
из Вашего примера.

И второй вопрос: после перемещения темы в другой форум получаются дубли.
Например две страницы с разными адресами и одинаковым содержимым:

Код: Выделить всё

http://www.trworkshop.net/forum/viewtopic.php?f=26&t=52981
http://www.trworkshop.net/forum/viewtopic.php?f=9&t=52981
В индекс яндекса попала страница со старым адресом. Вопрос в том как закрыть старую страницу от индексации.
Есть еще вопрос как сделать ридерект со старых страниц, но это наверно вопрос для другой темы.
Shredder
Администратор
Сообщения: 1073
Зарегистрирован: 22.08.13 09:05
Благодарил (а): 133 раза
Поблагодарили: 264 раза
Контактная информация:

robots.txt для форума phpbb

Сообщение Shredder »

cefp писал(а):если в настройках форума сделать число сообщений на странице не кратное 10. В стандартном движке есть такая функция.
Тогда это будет в порядке вещей и не будет являться дублем. Просто не нужно переключать это число на уже проиндексированном форуме.
cefp писал(а):Можете ли Вы привести примеры какие страницы закрываются от роботов строками
Был ответ на этот вопрос на предыдущей странице.
cefp писал(а):И второй вопрос: после перемещения темы в другой форум получаются дубли.
Здесь уже лучше ставить SEO-мод. Не все вопросы решаются с помощью robots, иначе бы SEO мод был не нужен.
Если хотите закрыть старую страницу от индексации через robots, то пропишите Disallow на её точный относительный путь. Типа:

Код: Выделить всё

Disallow: /forum/viewtopic.php?f=26&t=52981
cefp писал(а):Есть еще вопрос как сделать ридерект со старых страниц
SEO-мод делает это по умолчанию. Либо ковыряться в htaccess, если не хотите ставить его.
Мои моды и расширения для phpBB
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.
cefp
Сообщения: 44
Зарегистрирован: 15.10.13 02:28

robots.txt для форума phpbb

Сообщение cefp »

Спасибо за пояснения. Вот еще нашел дубли:
В яндекс попал адрес:

Код: Выделить всё

http://www.trworkshop.net/forum/viewtopic.php?f=16&t=4541
в гугл:

Код: Выделить всё

http://www.trworkshop.net/forum/viewtopic.php?t=4541
Наверно вот эта строка должна работать:

Код: Выделить всё

Disallow: /viewtopic.php?t=*
Xisp
Сообщения: 196
Зарегистрирован: 05.04.14 18:00
Благодарил (а): 15 раз
Поблагодарили: 30 раз

robots.txt для форума phpbb

Сообщение Xisp »

Лучше настроить canonical url, на этих страницах он будет вести на каноничную версию, например на &start=25 будет &start=20.
Evgen
Сообщения: 2
Зарегистрирован: 16.05.14 22:50

robots.txt для форума phpbb

Сообщение Evgen »

Подскажите пожалуйста в индекс яндекса вылез такой дубль forum.ru/viewtopic.php?f=7&p=105&sid=d82a645c4439d3978c6ce1fd63a5d6f ведущий на первую страницу топика, какой строкой в роботс убрать? В гугле такого нет, хотя правила одинаковые для роботов.
Shredder
Администратор
Сообщения: 1073
Зарегистрирован: 22.08.13 09:05
Благодарил (а): 133 раза
Поблагодарили: 264 раза
Контактная информация:

robots.txt для форума phpbb

Сообщение Shredder »

Evgen

Код: Выделить всё

Disallow: /viewtopic.php*p=*
Есть в первом посте.
Мои моды и расширения для phpBB
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.
Ответить