|
Поделиться

robots.txt для форума phpbb

Управление индексацией форума с помощью специального файла

Обсуждаем здесь всё, что связано с оптимизацией форума под поисковые системы (Яндекс, Гугл и др.) и улучшением позиций в поисковой выдаче.

Сообщение Thinker » 21.04.14 14:44

Гугл пишет, что "Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.", общее количество проблем 24, а ссылки дает всего три.

Screen_1.JPG

Screen_2.JPG
Thinker
 
Сообщения: 21
Зарегистрирован: 10.04.14 14:21
Откуда: Казахстан

Сообщение Shredder » 21.04.14 14:53

Это связано с так называемыми "важными темами" (или глобальными объявлениями), у которых нет родительского форума.
Вариант 1: забить и оставить как есть.
Вариант 2: убрать из robots.txt строки:
Disallow: /viewtopic.php?t=*
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.
Shredder
Администратор
 
Сообщения: 840
Зарегистрирован: 22.08.13 09:05

Сообщение Thinker » 21.04.14 15:00

Shredder, огромное спасибо!
Наверное поправлю robots.txt, пусть они индексируются тоже.
Thinker
 
Сообщения: 21
Зарегистрирован: 10.04.14 14:21
Откуда: Казахстан

Сообщение userAx » 30.04.14 09:55

Shredder писал(а):К robots.txt это не имеет никакого отношения.

а к чему тогда имеет? Таких ссылок, которые в яндексе выдаёт, как ошибочные около 1000 :?
userAx
 
Сообщения: 7
Зарегистрирован: 20.03.14 13:31

Сообщение Shredder » 30.04.14 14:29

У вас проблемы с настройками форума или сервера.

Добавлено спустя 1 час 19 минут 59 секунд:
userAx
Так, стоп, а что у вас за вопрос-то? Не вижу сообщения с описанием конкретно вашей проблемы. Если та же самая, что и у Thinker - при попытке перейти по ссылкам показывается сообщение "вы не авторизованы для просмотра вложения" или в Sitemap пишет "Формат документа не поддерживается", то к robots это никаким боком, проверяйте настройки.
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.
Shredder
Администратор
 
Сообщения: 840
Зарегистрирован: 22.08.13 09:05

Сообщение cefp » 14.05.14 00:45

Если брать форум из примера, как закрыть от индексации страницы с адресами вида:
Код: Выделить всё
http://www.trworkshop.net/forum/viewtopic.php?f=147&t=7885&start=126
http://www.trworkshop.net/forum/viewtopic.php?f=147&t=7885&start=125
cefp
 
Сообщения: 44
Зарегистрирован: 15.10.13 02:28

Сообщение Shredder » 14.05.14 07:31

cefp
Правильно ли я понял, что вам нужно закрыть от индексации все страницы тем, кроме первой? Если да, то:
Код: Выделить всё
Disallow: /viewtopic*&start=*

Вот только к SEO это уже никакого отношения не имеет.
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.
Shredder
Администратор
 
Сообщения: 840
Зарегистрирован: 22.08.13 09:05

Сообщение cefp » 14.05.14 09:00

Не совсем. Нужно закрыть от индексации:
Код: Выделить всё
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=01
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=02
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=03
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=04
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=05
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=06
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=07
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=08
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=09
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=10
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=11
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=12
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=13
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=14
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=15
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=16
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=17
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=18
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=19
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=10

При этом оставить открытыми для индексации:
Код: Выделить всё
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=20
http://www.trworkshop.net/forum/viewtopic.php?f=43&t=58498&start=40

В теме из трех страниц получается несколько десятков дублей за счет того что можно открыть тему начиная с любого сообщения. Ссылок ведущих на страницы из первого блока на сайте нет. Ссылки из второго блока есть на сайте в виде ссылок с номерами страниц. При этом отсутствие ссылок не мешает роботам индексировать такие страницы.
cefp
 
Сообщения: 44
Зарегистрирован: 15.10.13 02:28

Сообщение Shredder » 14.05.14 14:43

Каких дублей? Вы хоть раз видели, чтобы на каком-либо форуме индексировались подобные страницы? Таких "дублей" не бывает просто потому, что им взяться неоткуда - ссылок, не кратных числу сообщений на странице, в phpBB нет. А индексируются только те ссылки, которые реально присутствуют на страницах форума. Бот сам от себя ничего не добавляет: если есть ссылка на странице, он её проиндексирует; если нет, то "выдумывать" новые страницы, перебирая все варианты, он никогда не будет.

Добавлено спустя 4 минуты 41 секунду:
А на тот случай, если у вас пользователи "шалят" и размещают придуманные ими ссылки, то запретите им делать это административно. Через robots этого не сделаешь.
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.
Shredder
Администратор
 
Сообщения: 840
Зарегистрирован: 22.08.13 09:05

Сообщение cefp » 14.05.14 15:04

У меня есть подозрение, что такие ссылки могут появится если в настройках форума сделать число сообщений на странице не кратное 10. В стандартном движке есть такая функция.
Если это пользователи шалят, то как запретить административно? Например если они размещают ссылки на внешних сайтах.

По поводу роботс есть еще вопросы:
Можете ли Вы привести примеры какие страницы закрываются от роботов строками
Код: Выделить всё
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*

из Вашего примера.

И второй вопрос: после перемещения темы в другой форум получаются дубли.
Например две страницы с разными адресами и одинаковым содержимым:
Код: Выделить всё
http://www.trworkshop.net/forum/viewtopic.php?f=26&t=52981
http://www.trworkshop.net/forum/viewtopic.php?f=9&t=52981

В индекс яндекса попала страница со старым адресом. Вопрос в том как закрыть старую страницу от индексации.
Есть еще вопрос как сделать ридерект со старых страниц, но это наверно вопрос для другой темы.
cefp
 
Сообщения: 44
Зарегистрирован: 15.10.13 02:28

Сообщение Shredder » 14.05.14 15:24

cefp писал(а):если в настройках форума сделать число сообщений на странице не кратное 10. В стандартном движке есть такая функция.

Тогда это будет в порядке вещей и не будет являться дублем. Просто не нужно переключать это число на уже проиндексированном форуме.

cefp писал(а):Можете ли Вы привести примеры какие страницы закрываются от роботов строками

Был ответ на этот вопрос на предыдущей странице.

cefp писал(а):И второй вопрос: после перемещения темы в другой форум получаются дубли.

Здесь уже лучше ставить SEO-мод. Не все вопросы решаются с помощью robots, иначе бы SEO мод был не нужен.
Если хотите закрыть старую страницу от индексации через robots, то пропишите Disallow на её точный относительный путь. Типа:
Код: Выделить всё
Disallow: /forum/viewtopic.php?f=26&t=52981

cefp писал(а):Есть еще вопрос как сделать ридерект со старых страниц

SEO-мод делает это по умолчанию. Либо ковыряться в htaccess, если не хотите ставить его.
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.
Shredder
Администратор
 
Сообщения: 840
Зарегистрирован: 22.08.13 09:05

Сообщение cefp » 15.05.14 15:05

Спасибо за пояснения. Вот еще нашел дубли:
В яндекс попал адрес:
Код: Выделить всё
http://www.trworkshop.net/forum/viewtopic.php?f=16&t=4541

в гугл:
Код: Выделить всё
http://www.trworkshop.net/forum/viewtopic.php?t=4541

Наверно вот эта строка должна работать:
Код: Выделить всё
Disallow: /viewtopic.php?t=*
cefp
 
Сообщения: 44
Зарегистрирован: 15.10.13 02:28

Сообщение Xisp » 16.05.14 16:18

Лучше настроить canonical url, на этих страницах он будет вести на каноничную версию, например на &start=25 будет &start=20.
Xisp
 
Сообщения: 196
Зарегистрирован: 05.04.14 18:00

Сообщение Evgen » 16.05.14 22:57

Подскажите пожалуйста в индекс яндекса вылез такой дубль forum.ru/viewtopic.php?f=7&p=105&sid=d82a645c4439d3978c6ce1fd63a5d6f ведущий на первую страницу топика, какой строкой в роботс убрать? В гугле такого нет, хотя правила одинаковые для роботов.
Evgen
 
Сообщения: 2
Зарегистрирован: 16.05.14 22:50

Сообщение Shredder » 16.05.14 23:06

Evgen
Код: Выделить всё
Disallow: /viewtopic.php*p=*

Есть в первом посте.
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.
Shredder
Администратор
 
Сообщения: 840
Зарегистрирован: 22.08.13 09:05

Пред.След.

Вернуться в Раскрутка и оптимизация phpBB

Кто сейчас на конференции

Сейчас этот форум просматривают: Bing [Bot] и гости: 1

cron