robots.txt для форума phpbb

[Evgen]

Странно! Такая строчка присутствует!
User-agent: Yandex
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Host: forum.ru
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

А гугл почему то игнорит данную строку Disallow: /viewtopic.php?f=*&t=*&start=0$ и добавляет такие страницы forum.ru/viewtopic.php?f=7&t=5&start=10 (такие же правила для User-agent:* кроме host и clean-param). Не могу понять причину? Остальные параметры выполняет вроде...

[Shredder]

и добавляет такие страницы forum.ru/viewtopic.php?f=7&t=5&start=10

Все, кроме start=0 - это полезные страницы, в robots они как раз-таки разрешены. Гугл правильно делает, что их добавляет.

[userAx]

вас проблемы с настройками форума или сервера.

Добавлено спустя 1 час 19 минут 59 секунд:
userAx
Так, стоп, а что у вас за вопрос-то? Не вижу сообщения с описанием конкретно вашей проблемы. Если та же самая, что и у Thinker - при попытке перейти по ссылкам показывается сообщение "вы не авторизованы для просмотра вложения" или в Sitemap пишет "Формат документа не поддерживается", то к robots это никаким боком, проверяйте настройки.

Вопрос был по поводу безопасных загрузок вложений,

http://www.phpbb-work.ru/robots-txt-t55.html#p431

http://www.phpbb-work.ru/robots-txt-t55-15.html#p468

[Shredder]

Ранее в теме писалось о проблемах с "важными темами" (глобальными объявлениями форума), и я давал варианты решения данной проблемы:
http://www.phpbb-work.ru/robots-txt-t55-15.html#p443

Ни один из них не является правильным. Но оказывается, в robots.txt давно разрешена директива Allow (раньше её не было), позволяющая не запретить, а разрешить к индексации те или иные страницы. Поэтому правильный * вариант будет такой:
Оставить директиву Disallow: /viewtopic.php?t=*
И сразу после неё с новой строки перечислить темы, которые будут разрешены для индексации, к примеру:

Код: Выделить всё

Allow: /viewtopic.php?t=1
Allow: /viewtopic.php?t=2
Allow: /viewtopic.php?t=3

И т.д.
Вместо 1, 2 и 3 подставляете ID ваших "Важных" тем.

Добавлено спустя 14 минут 23 секунды:
* С точки зрения robots. С точки зрения SEO будет "та же параша", потому что эти "важнотемы" (как и обычные темы при их переносе из одного форума в другой) всё равно будут плодить дубли за счёт полного отсутствия SEO-оптимизации в "чистом" phpBB. Обычные темы плодят дубли только при переносе, а "важнотемы" будут плодить их всегда, потому что в каждом из форумов они отображаются с его ID, и, следовательно, - с разным URL. Немного "спасти" ситуацию может тот факт, что обычно таких "важнотем" на форумах бывает немного, поэтому и дублей будет сравнительно мало, но тем не менее, - если кто-то хочет идеальной оптимизации, без установки SEO-мода ему не обойтись.

[igorbond]

Все сделал по инструкции и ... более 30 000 страниц вылетело из поиска, потому что они были отменены у яндекса. ЖУть

[Shredder]

потому что они были отменены у яндекса

В смысле "отменены"?

[igorbond]

В том смысле что они просто исчезли из поисковика, было более 30 000 страниц в поиске яндекса, осталось 348.

[Shredder]

Покажите созданный вами robots и форум.

[igorbond]

http://southklad.ru/forum/

Файл старый при котором все было в норме:

Файл не сохранился, но все было скопировано из вашего первого сообщения с изменениями под мой форум соответственно.

[Shredder]

А почему вы думаете, что проблема именно в файле robots? Что отображается/отображалось в панели вебмастера в списке ссылок, запрещённых через robots?

Если проблема была всё же в robots.txt, то скорее всего, вы что-то неправильно сделали. Нужно было сохранить новый файл, тогда можно было бы уточнить, что именно.

[igorbond]

Решил потому что в панели Вебмастера мне было сообщено что это произошло из за запрета страниц в файле robots.

Добавлено спустя 1 минуту 15 секунд:
Вот что у меня сейчас

Код: Выделить всё

User-agent: *
Disallow: /forum/adm/
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/style.php
Disallow: /forum/ucp.php
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewforum.php?f=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next
Disallow: /forum/viewtopic.php?f=*&t=*&view=previous
Disallow: /forum/go.php
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comment/
Disallow: /tag/
Disallow: /author/
Disallow: /search/
Disallow: /rss/
Disallow: /*.js
Disallow: /*.inc
Disallow: /*.css
Disallow: /*?
Disallow: /*.gz

User-agent: Yandex
Disallow: /forum/adm/
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/style.php
Disallow: /forum/ucp.php
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewforum.php?f=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next
Disallow: /forum/viewtopic.php?f=*&t=*&view=previous
Disallow: /forum/go.php
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comment/
Disallow: /tag/
Disallow: /author/
Disallow: /search/
Disallow: /rss/
Disallow: /*.js
Disallow: /*.inc
Disallow: /*.css
Disallow: /*?
Disallow: /*.gz

Host: southklad.ru
Sitemap: http://southklad.ru/Sitemap.xml
Sitemap: http://southklad.ru/Sitemap.html

[Shredder]

Что сейчас - это можно просмотреть и на самом сайте.

Производились ли какие-либо специфические изменения в коде форума "для поисковиков"? Например, был убран параметр ?f= ? Если да, то причина в этом. Если нет, то невнимательность, потому что robots в первом сообщении правильный 100%.

[igorbond]

Вот так правильно ?

Код: Выделить всё

User-agent: *
Disallow: /forum/adm/
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/index.php?
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/style.php
Disallow: /forum/ucp.php
Disallow: /forum/viewonline.php
Disallow: /forum/*&st=*
Disallow: /forum/*&sk=*
Disallow: /forum/*&sd=*
Disallow: /forum/*&hilit=*
Disallow: /forum/*&view=*
Disallow: /forum/viewtopic.php*p=*
Disallow: /forum/viewtopic.php?t=*
Disallow: /forum/view*&start=0$
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comment/
Disallow: /tag/
Disallow: /author/
Disallow: /search/
Disallow: /rss/
Disallow: /*.js
Disallow: /*.inc
Disallow: /*.css
Disallow: /*?
Disallow: /*.gz

# Google Image
User-agent: Googlebot-Image
Disallow:

# Google AdSense
User-agent: Mediapartners-Google
Disallow:

User-agent: Yandex
Disallow: /forum/adm/
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/index.php?
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/style.php
Disallow: /forum/ucp.php
Disallow: /forum/viewonline.php
Disallow: /forum/*&st=*
Disallow: /forum/*&sk=*
Disallow: /forum/*&sd=*
Disallow: /forum/*&hilit=*
Disallow: /forum/*&view=*
Disallow: /forum/viewtopic.php*p=*
Disallow: /forum/viewtopic.php?t=*
Disallow: /forum/view*&start=0$
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comment/
Disallow: /tag/
Disallow: /author/
Disallow: /search/
Disallow: /rss/
Disallow: /*.js
Disallow: /*.inc
Disallow: /*.css
Disallow: /*?
Disallow: /*.gz

Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

Crawl-delay: 4
Host: southklad.ru
Sitemap: http://southklad.ru/Sitemap.xml
Sitemap: http://southklad.ru/Sitemap.html

[Shredder]

Вот эта строка убила все ваши ссылки:

Код: Выделить всё

Disallow: /*?

Не знаю, откуда вы её взяли, но она есть в обоих вариантах выложенных вами robots. Уберите.
Если нужно, чтобы блокировались все страницы, заканчивающиеся на ?, то нужно использовать:

Код: Выделить всё

Disallow: /*?$

Иначе просто будут блокироваться все страницы, содержащие ?, т.е. фактически все ссылки форума, кроме главной страницы.

В эту часть тоже нужно добавить forum:

Код: Выделить всё

Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php

Остальное правильно.

[igorbond]

Ну так она же вела не на форум? Или она и форума захватила? Поправил по вашей инструкции, не нужное убрал.