Карта сайта для ботов (phpBB3 SEO Sitemap)

[Shredder]

Многие, наверное, знают, что phpBB в своём чистом виде почти не оптимизирован под поисковики, и в частности - не имеет ЧПУ. Для создания ЧПУ я предпочитаю использовать мод Ultimate SEO URL от phpbb-seo.com, так как это самый богатый по возможностям и функциональности SEO-мод, постоянно поддерживающийся разработчиком. Конкурентов у него просто нет. До недавнего времени для режима Advanced этого мода не было нормальной карты сайта. Была карта GYM Sitemaps от того же самого разработчика, но во-первых, она заточена только под иностранные поисковики (Google, Yahoo и т.п.), во-вторых, этот мод слишком сложен и наворочен, попробовал я однажды его установить и сразу удалил, т.к. в нём много всяких лишних и малопонятных вещей, и в-третьих, он даже не имеет русификации, а русифицировать там - дофига и больше. Есть также мод Sitemap FX, но он не поддерживает Ultimate SEO в режиме Advanced. Поэтому я создал собственную простую карту, поддерживающую как обычный движок, так и SEO-мод во всех режимах, и оформил её в виде полноценного модуля для phpBB3.

Возможности и настройки мода:

• Автоматический учёт прав доступа к форумам при загрузке поисковиком.
• Возможность исключать выбранные форумы из карты при помощи удобного списка в админке (см. скриншот).
• Кеширование на выбранный в настройках срок для уменьшения нагрузки на сервер.
• Автоматическое определение и поддержка СЕО-мода (ЧПУ). Если ЧПУ не установлен или отключен, ссылки в карте имеют стандартный вид.
• Возможность изменять приоритет и частоту обновления для различных типов тем.
• Возможность задать лимит URL, при достижении которого карта будет разбита на несколько индексных файлов. Подробнее об этом читайте здесь.
• Отображение общего числа URL (страниц форума), находящихся в карте. Очень полезно, если вы хотите иметь представление об общем числе полезных страниц вашей конференции, которое должны индексировать поисковики.
• Автоматическое определение и поддержка модов "Prime Trash Bin", "Soft Delete" и "Topics as articles", для совместимости с ними.

phpbb3_seo_sitemap_2_2_3.zip

(217.39 КБ) 2867 скачиваний

phpbb3_seo_sitemap_2_2_3.zip

(217.39 КБ) 2867 скачиваний

Объявление о выходе версии 2.1.0 и улучшениях, начиная с этой версии, смотрите здесь.

Переводы на другие языки:
Украинский

Устаревшие версии:

phpbb3_seo_sitemap_2_0_2.zip

(191.26 КБ) 5000 скачиваний

phpbb3_seo_sitemap_2_0_2.zip

(191.26 КБ) 5000 скачиваний

Установка мода проста: нужно скопировать на форум все файлы из папки root и запустить установочный скрипт (с версии 2.1.0 было добавлено и редактирование файлов phpBB, не забудьте внести необходимые правки по инструкции). Либо установить Автомодом, он сделает всё за вас. После установки зайдите на страницу адрес_форума/sitemap.php и убедитесь, что карта сайта создаётся нормально. Этот адрес нужно будет добавить в robots.txt, указав там директиву Sitemap: адрес_вашего_форума/sitemap.php, а также добавить его в панели вебмастера Яндекса и Google. После этого роботы будут периодически посещать страницу карты, загружая обновлённое содержимое.

Созданная карта заносится в кеш форума на время, указанное в настройках (по умолчанию - 24 часа). Это сделано для уменьшения нагрузки на сервер. Но если хотите, вы можете отключить кеширование, задав в настройках "Время хранения в кеше: 0". Настройки находятся на главной странице админки в разделе "Конфигурация".

Обратите внимание, что категории, форумы-ссылки и форумы, не имеющие ни одной темы, в карту не попадают, смысла их нахождения там просто нет. Поэтому не пытайтесь создать карту на пустом форуме. Нормально работающая карта при открытии должна иметь примерно такой же вид, как на скриншотах из этого сообщения. Вид ссылок изменяется в зависимости от того, установлен у вас Ultimate SEO Url для создания ЧПУ или нет.

[Shredder]

Версия мода обновлена до 1.0.2. Исправлен баг с отображением "Важных" тем, добавлены расширенные настройки для параметров priority и changefreq. Для обновления достаточно заменить файлы и запустить установочный скрипт.

[Sherlock]

Сделал перевод на украинский.
В файле есть основной мод и украинский язык

Украинский перевод обновлен: 2.0.2

phpbb3_seo_sitemap_2_1_0-ukrainian.zip

(3.56 КБ) 1395 скачиваний

phpbb3_seo_sitemap_2_1_0-ukrainian.zip

(3.56 КБ) 1395 скачиваний

[Teste]

Мне очень понравилась ваша мода
но она имеет проблему:

Файлов индекса Sitemap может быть перечислено не более 50 000 файлов Sitemap должно быть не более 10 Мб (10485760 байт) и может быть сжат.

[Shredder]

По поводу ограничения в 10 Мб: помимо стандартной карты, мод автоматически создаёт архив со сжатой картой под именем sitemap.xml.gz. Вместо способа по умолчанию вы можете указать для поисковиков путь к этому архиву, например: Sitemap: forum.com/sitemap.xml.gz. Но в этом случае нужно будет позаботиться об автоматическом вызове основного скрипта sitemap.php по расписанию, чтобы карта автоматически обновлялась. Это можно сделать при помощи cron - функции, которую предоставляет ваш хостинг-провайдер.

Насчёт 50000 записей нужно будет подумать, как это лучше сделать, когда будет возможность.

[Teste]

вы можете изменить его, чтобы не получить тяжелый на сайт с тысячами URL?

[Shredder]

Teste
Если речь о нагрузке на сервер (server load), то тут всё зависит от того, что именно эту нагрузку вызывает. Для снижения нагрузки на MySQL в настройках мода предусмотрен кеш. Если же речь про траффик и нагрузку на жёсткий диск сервера, то требуется значительное изменение кода. Попробую, но не обещаю.

На оффсайте валидирована новая версия - 1.0.3. В этой версии были исправлены два существенных бага: неправильная работа с темами-ссылками (создание несуществующих ссылок для таких тем), которые иногда оставляют при переносе тем в новый раздел, и отсутствие страниц форумов в карте (если у какого-либо форума было больше одной страницы, то добавлялась только самая первая из них). Рекомендую всем обновиться. Обновление простое: заменить все имеющиеся файлы и запустить установочный скрипт - install_sitemap_seo.php

Сделал перевод на украинский.
В файле есть основной мод и украинский язык

Какой смысл выкладывать мод вместе с переводом? Обычно перевод выкладывается отдельно. Это делается затем, чтобы когда выходят новые версии мода, пользователи по ошибке не скачали и не использовали старые версии вместе с переводом. Бывают же невнимательные, которые качают старьё.

[Teste]

пример:

SiteMap_Generator_v1.2.0 создает несколько файлов

Код: Выделить всё

<?xml version="1.0" encoding="UTF-8"?>

-<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">


-<sitemap>

<loc>http://www.site.com/sitemap_forums.xml.gz</loc>

<lastmod>2013-03-08T06:15:06-03:00</lastmod>

</sitemap>


-<sitemap>

<loc>http://www.site.com/sitemap_topics_0000000-0050000.xml.gz</loc>

<lastmod>2013-03-08T06:15:06-03:00</lastmod>

</sitemap>


-<sitemap>

<loc>http://www.site.com/sitemap_topics_0050000-0100000.xml.gz</loc>

<lastmod>2013-03-08T06:14:00-03:00</lastmod>

</sitemap>

</sitemapindex>

[awant13]

Доброго времени суток!
У меня установлен Ultimate phpbb SEO в режиме advanced. Установил ваш мод карта сайта появилась, но вот почему то ссылки на темы форумов имеют такой вид

Код: Выделить всё

<loc>http://uol25.ru/topic-t3-75.html</loc>
<lastmod>2013-12-17</lastmod>
<changefreq>daily</changefreq>
<priority>0.5</priority>
</url>
<url>
<loc>http://uol25.ru/topic-t3-100.html</loc>
<lastmod>2013-12-17</lastmod>
<changefreq>daily</changefreq>
<priority>0.5</priority>
</url>
<url>
<loc>http://uol25.ru/topic-t3-125.html</loc>
<lastmod>2013-12-17</lastmod>
<changefreq>daily</changefreq>
<priority>0.5</priority>
</url>

Названия форумов в карте отображаются нормально

Код: Выделить всё

<loc>http://uol25.ru/govorilka.html</loc>
<lastmod>2013-12-17</lastmod>
<changefreq>weekly</changefreq>
<priority>0.9</priority>
</url>
<url>
<loc>http://uol25.ru/anekdotov-net-kartinok-toje.html</loc>
<lastmod>2013-12-17</lastmod>
<changefreq>weekly</changefreq>
<priority>0.9</priority>
</url>
<url>
<loc>
http://uol25.ru/anekdotov-net-kartinok-toje-25.html
</loc>
<lastmod>2013-12-17</lastmod>
<changefreq>weekly</changefreq>
<priority>0.9</priority>
</url>
<url>
<loc>http://uol25.ru/obshchie-temi.html</loc>
<lastmod>2013-12-17</lastmod>
<changefreq>weekly</changefreq>
<priority>0.9</priority>
</url>
<url>
<loc>http://uol25.ru/knigi-kino-tv.html</loc>
<lastmod>2013-12-06</lastmod>
<changefreq>weekly</changefreq>
<priority>0.9</priority>
</url>

Не могу понять в чем дело, заранее спасибо

[Shredder]

awant13
Нужно сделать сброс и затем синхронизацию URL. Должно исправиться.
Делается это на странице http://ваш_сайт/phpbb_seo/sync_url.php. Перед запуском скрипта сделайте резервную копию сайта.

[awant13]

Спасибо помогло =)

[gorand]

Вместо карты появилось вот такое чудо, помоги:

Код: Выделить всё

General Error

SQL ERROR [ mysqli ]

Unknown column 'topic_url' in 'field list' [1054]

SQL

SELECT topic_id, topic_url, topic_type, topic_replies, topic_last_post_time, forum_id FROM phpbb_topics WHERE topic_approved = 1 AND topic_status <> 2

BACKTRACE


FILE: (not given by php)
LINE: (not given by php)
CALL: msg_handler()

FILE: [ROOT]/includes/db/dbal.php
LINE: 757
CALL: trigger_error()

FILE: [ROOT]/includes/db/mysqli.php
LINE: 189
CALL: dbal->sql_error()

FILE: [ROOT]/sitemap.php
LINE: 95
CALL: dbal_mysqli->sql_query()

FILE: [ROOT]/sitemap.php
LINE: 193
CALL: generate_topic_lists()

[Shredder]

SEO-мод установлен некорректно.
Попробуйте изменить настройки SEO и очистить кеш форума.

[gorand]

Да вот пытаюсь настроить и еще ставил сразу несколько модов, в том числе и ваш, сейчас съехал шаблон, стоит просильвер, но почему то стало все серым вместо синего, кнопки ответить, цитировать лс и так далее есть, но не отображаются, что только не делал и кеш чистил не помогает, может подскажите куда лезть?

[Shredder]

Что-то неправильно сделали. Сразу говорю, что от моего мода шаблоны не едут, по той простой причине, что он вообще не затрагивает файлы форума.
Вероятнее всего, кривой стиль. У phpBB3 есть такая неприятная особенность, что он хранит файлы некоторых стилей не только на ftp, но и в БД (отображает, беря их из БД), поэтому не редки ситуации, когда версии файлов с ftp и БД отличаются (например, если стили правились из админки), из-за чего при очистке кеша, когда файлы из БД уничтожаются, заменяясь на файлы из ftp, начинаются вот такие картины. Более точно заочно сказать не смогу.
Перед любыми (особенно значительными) модификациями форума, если вы на 100% не уверены в положительном результате, следует заранее делать бекап файлов и БД.