Карта сайта для ботов (phpBB3 SEO Sitemap)

[Lopes]

Shredder, как раз при написании утром предидущего поста обновил sitemap.php - стало вместо 0 несколько тычяч урлов. Как я и писал. Сейчас опять 0. Прошло 10-12 часов. Неделю назад отключил почти всех ботов. Оставил только три бота - гуглбота, яндексбота и мейлрубота... Кто и что могло снести на 0 количество урлов? И влияет ли этот ноль урлов на что-то? В середине апреля вместе с установкой данного мода увеличил количество ботов с 2-х(гугл, яндекс) до почти 50-ти. С тех пор (середина апреля) с индексацией и посещалкой - кошмар .

[Shredder]

А как сделать, чтобы в файл карты .xml добавлялись только свежие топики, а не перегенерировались все файлы .xml, т.к. форум во время генерации "ложится" на 3-4 минуты

Какая у вас версия мода?

Думаю, что так сделать нельзя, потому что даже в вашем варианте всё равно будет проверяться наличие или отсутствие URL в файлах карты, и ещё неизвестно, как это повлияет на нагрузку. И ещё этот способ неудобен тем, что для генерации точного времени последней модификации (lastmod) нужно, чтобы проверялись все сообщения и темы. Без проверки не будет и lastmod.

Гораздо лучшим решением против "нагрузки" является поэтапное создание карты, когда выполнение "тяжёлого скрипта" разбивается на несколько идущих друг за другом этапов, связанных через meta_refresh. Это решило бы проблему с огромными или тормозящими сайтами. Я пока думаю, как прикрутить этот способ к карте. Единственный пришедший пока в голову вариант - создание карты вручную из админки, но он меня не устраивает, т.к. хотелось бы всё-таки, чтобы карта всегда создавалась автоматически.

В середине апреля вместе с установкой данного мода увеличил количество ботов с 2-х(гугл, яндекс) до почти 50-ти.

Неделю назад отключил почти всех ботов. Оставил только три бота - гуглбота, яндексбота и мейлрубота...

По сути, для России важны только 2 бота - это Гугл и Яндекс. Из числа посетителей, приходящих из поисковых систем, они дают 95% всех посетителей. Ещё 4 процента на одном из моих сайтов с посещаемостью 2000 человек в день даёт Mail.Ru. Остальные боты, по сути, и не нужны. Процентные соотношения посещений и всех важных для вашего форума ботов можно посмотреть в Яндекс-метрике, в отделе "Источники трафика" --> "Переходы из поисковых систем".

Попробуйте версию 2.2.1, которую я выложил сейчас в первый пост темы. Посмотрим, как будет там. Отличия по сравнению с последней публичной версией:

• Переписан код для уменьшения нагрузки на сервер (для полной оптимизации не хватает только поэтапного создания карты, о чём написал выше).
• Добавлен стиль отображения к карте. Для "более красивого" и удобного вида.
• Добавлен аддон для изменения URL карты с sitemap.php на sitemap.xml (Просили на phpbb.com. Возможно, это пригодится для каких-нибудь малоизвестных в России иностранных поисковиков, т.к. Гугл и Яндекс, судя по моему опыту, прекрасно понимают и .php)

Для обновления достаточно заменить все файлы и запустить установочный скрипт.

[Xisp]

Единственный пришедший пока в голову вариант - создание карты вручную из админки, но он меня не устраивает, т.к. хотелось бы всё-таки, чтобы карта всегда создавалась автоматически.

Предложу ещё раз создание карты по форумам. Только чаще, но по одному форуму за раз. Ну или например поучать число форумов и разрешать обновление не более этого числа.
Более интеллектуальный вариант- бить по этапам по числу сообщений в форуме, чтобы не больше 100000, к примеру.

[Shredder]

Xisp
Именно о последнем варианте я и говорю - как реализовано в STK. Скрипт-то у меня уже есть, посмотри в папке contrib/root файл mod_time_sync.php - это синхронизация дат lastmod для обновления с версий, более ранних, чем 2.1.0. Там идёт разбивка по 5000 сообщений за 1 рефреш (в STK, вроде, вообще 500). Проблема не в том, чтобы этот скрипт прикрутить, а в том, чтобы совместить его с созданием именно карты - ведь бот не будет ждать выполнения множества этапов, это не пользователь и он такого просто не умеет. Cron вроде бы тоже не работает с поэтапными скриптами (или я неправ?). Потому и остаётся "ручной" вариант - создание самим админом. Но по-моему, он слишком муторный. Хотелось бы всё-таки, чтобы карта создавалась автоматически.

[pmebear]

Добрый день! В карте не создается ссылка на главную страницу форума и на один из первых форумов, так и должно быть, если нет, как это можно исправить?
От Sitemap FX остались файлы в папке sitemap в формате htm, после установки данного мода и удаления этих файлов - файлы не генерируются. Так и должно быть?
Если папка cashe закрыта от ботов в robots.txt, будет ли доступен для них файл data_sitemap_seo_file.php, или папку нужно открыть?

[Shredder]

pmebear
Если форум является категорий или просто не содержит тем, доступных для ботов, то в карту он заноситься и не должен. Занесение главной страницы тоже смысла не имеет, т.к. главная страница форума всегда должна быть в поисковиках и без карты. Если её там нет, значит у форума серьёзные проблемы, и карта тут вряд ли поможет. Таким образом, цель карты - помочь поисковым системам увидеть "не основные" страницы форума с более высокой вложенностью, которых по умолчанию в поиске может и не быть.

Насчёт кеша:
Если бы нужно было совершать какие-то дополнительные действия, я бы написал. Т.к. карта отдаётся поисковикам через скрипт адрес_форума/sitemap.php, в адресе которого папки cache нет, то никаких проблем быть не должно. Индексные файлы создаются в папке sitemap только в том случае, если общее количество ссылок в карте превышает лимит URL, установленный в настройках. Хранятся они не в кеше, а именно в указанной папке, чтобы обеспечить надёжный доступ поисковикам.

[Xisp]

ведь бот не будет ждать выполнения множества этапов, это не пользователь и он такого просто не умеет.

Я к тому, что по первому заходу обновляется карта форума 1, во втором заходе- форума 2 и 3 (если лезут в лимит по числу сообщений) и далее. Нужно будет уменьшить частоту обновления в несколько раз, зато само обновление будет менее ресурсоёмким. И да, для этого необходимо хранить каждую карту форума в своём файле.

[Shredder]

Я понимаю, но учитывая тот факт, что здесь уже писали "до 30 тыс. постов мой форум работал, а после упал", этот вариант не прокатит, ведь в одном форуме может быть и 500 тыс. Поэтому единственным вариантом остаётся разбивка по числу сообщений.

[globul]

Добрый день!Не могу понять у меня в файле sitemap, 2/3 Last Modified - 1970.Как это лечить?

[Xisp]

Как это лечить?

Узнать, почему в поле таймштампа у сообщений стоит 0 (соответствует 1 января 1970г).

[Lopes]

Xisp, а что мод в таблицу phpbb_posts добавляет кроме поля post_modified еще что-то? Где искать таймштамп?

[Xisp]

Xisp, а что мод в таблицу phpbb_posts добавляет кроме поля post_modified еще что-то?

Нет, это у вас (скорее всего) не заполнено поле post_time.

[Shredder]

globul
Версия мода какая?

Добавлено спустя 4 часа 9 минут 33 секунды:
В инструкции по установке забыл написать, что после установки требуется скопировать в корень форума и запустить скрипт contrib/root/mod_time_sync.php. Он как раз синхронизирует lastmod для версий, начиная с 2.1.0. Запустите, дождитесь синхронизации, проблема должна устраниться. Скрипт запускается однократно, - если хоть один раз его уже запускали и после этого не удаляли мод, то больше запускать никогда не нужно.

Добавлено спустя 3 часа 1 минуту 2 секунды:
Обновил версию до 2.2.2: исправлена инструкция и файл mod_time_sync.php объединён с установочным файлом install_sitemap_seo.php, теперь синхронизация запускается по адресу ваш_форум/install_sitemap_seo.php?mode=start

[remy33]

У меня проблема с ( 1 января 1970г ) новые посты отображаются в сайтмапе с этой датой , но если сделать синхронизацию вручную через ваш_форум/install_sitemap_seo.php?mode=start Новая дата становиться нормальной
Или так задумано?
в post_time заполнено корректно. В чем проблема может быть?

[Shredder]

remy33
Видимо, не выполнили инструкцию по правке файлов. С версии 2.1.0 было добавлено и редактирование файлов phpBB, обновил информацию в первом посте темы.