Карта сайта для ботов (phpBB3 SEO Sitemap)

Сообщение **Shredder** » 28.12.13 04:27

Мод карты сайта обновлён до версии 2.0.0
Добавлена поддержка форумов с суммарным количеством ссылок более 50000. Лимит URL на один файл можно выбрать в настройках мода. Если число ссылок на вашем форуме превысит этот лимит, карта будет автоматически разбита на несколько файлов в соответствии с протоколом sitemaps. По умолчанию в настройках стоит 50000, но если при таком количестве вы всё же испытываете проблемы с превышением лимитов - например, размер какого-то из файлов карты оказался больше 10 Мб, то можете снизить это число, в результате уменьшится и вес файлов.
Для обновления нужно скопировать все файлы из папки root и запустить файл install_sitemap_seo.php

Сообщение **Shredder** » 19.01.14 22:08

Мод обновлён до версии 2.0.1, исправлен баг с нумерацией страниц форума, если в настройках какого-либо из форумов задано собственное число тем на странице, отличное от основных настроек в меню "Размещение сообщений".

Sherlock · Сообщение **Sherlock** » 08.02.14 19:01

Обновил украинский язык до актуальной версии

(Желательно бы обновить мой пост выше, чтобы не загружали старую версию.)

vladimir1983 · Сообщение **vladimir1983** » 16.02.14 21:52

Shredder
После установки настройки оставил по умолчанию в опции "Лимит URL", т.е. 10 000.
При 114+ тысяч сообщений создалось два файла /sitemap/1.xml и /sitemap/2.xml, проверил недавно статус карты в вебмастере гугла и обнаружил 2 ошибки которые указывали на эти файлы, код ошибки был 404. Полез проверять, открывается норм. Проверил доступ боту, файл доступен. Тогда появилась мысль что время генерации карты при запросе файла кртично важно для гугла. Моя карта с настройками что выше генерировалась почти пять секунд. Видимо бот не ждет столько времени и считает что статут файла 404

Сразу не стал писать, решил проверить, сократил лимит до 1 000. С лимитом 1 000 карту гугл проиндексировал.
В итоге вот такая получилась карта у меня сейчас

Код: Выделить всё

http://forum.volnistye.ru/sitemap.php

Сообщение **Shredder** » 16.02.14 22:22

vladimir1983 писал(а):После установки настройки оставил по умолчанию в опции "Лимит URL", т.е. 10 000.

По умолчанию лимит 50 тысяч, а не 10.

Довольно странная ситуация. У меня в другом сайте 6,5 тысяч URL, разбиение на файлы не достигнуто ещё, т.к. лимит больший стоит, но индексируется нормально всё.
Дело в том, что после первого запуска генерации файлы карты сохраняются на жёстком диске (на время, указанное в настройках кеша), и при последующих обращениях читаются с него как обычные файлы, поэтому там генерироваться нечему, "с нуля" карта генерируется только в первый раз. Могу предположить, что "ненормальное время" выдаёт сам сервер - собственно, для таких случаев и предусмотрено регулирование лимита URL. Либо гугл протупил и обратился к файлам ещё до завершения их генерации, и присвоил из-за этого файлам статус 404 - если так, то при следующей проверке статус сменился бы на нормальный. Гугл тоже кеширует файлы на какое-то время - например, файл robots.txt у меня сменился на новый только через несколько дней, до этого времени в панели писалось, что он недоступен, хотя на деле он давно был исправлен, то же самое могло случиться и с картой сайта.

vladimir1983 · Сообщение **vladimir1983** » 16.02.14 23:18

Shredder писал(а): 50 тысяч

хм. А может я и изменил эту настройку.

Время хранения в кеше у меня стоит 3 часа, может действительно мало и надо увеличить часов до 12 чтобы в случае чего бот при повторном обращении 100% получал файлы из кэша.
Сергей а может есть смысл поставить генерацию файлов на крон по времени а не на лимит времени и новую генерацию при обращении?
Не хочется чтобы бот ожидал генерацию карты при запросе(а то мож торопится и не дождется). Пусть он карту лучше из кеша берет уже сгенерированную анонимусом.
Что думаешь?

Сообщение **Shredder** » 16.02.14 23:51

vladimir1983 писал(а):Время хранения в кеше у меня стоит 3 часа, может действительно мало и надо увеличить часов до 12 чтобы в случае чего бот при повторном обращении 100% получал файлы из кэша.

Не понял смысл этого действия.
Бот получает файлы из кеша сразу же после их генерации, в твоём случае через 5 секунд. При обращении к скрипту карты происходит проверка, есть ли карта в кеше. Если карты нет, то она создаётся за несколько секунд, ну за минуту максимум, - если, к примеру, у тебя слабый сервер и много URL. После этого карта хранится на диске как обычный статический файл, и если бот обратится к ней через минуту после её генерации, то он уже получит готовую новую карту. А то, что карта на любом сервере будет готова через 3 часа - в этом нет никакого сомнения. Время хранения в кеше - это время между генерациями новой карты (при условии обращения к скрипту по прошествии этого времени), а не между генерацией и доступностью карты после генерации.

vladimir1983 писал(а):Что думаешь?

У меня была мысль сделать по крону. Но сначала следует разобраться, точно ли это нужно.

Что, если провести эксперимент: изменить настройки обратно на 10 тыс. URL, дождаться обновления информации в гугле и посмотреть, что он там напишет? Может, на этот раз всё будет в порядке?

vladimir1983 · Сообщение **vladimir1983** » 16.02.14 23:59

Shredder писал(а):Что, если провести эксперимент

Ок. Поставил время хранения в кеше 12 часов, и лимит в 10 000. По результатам отпишу.

vladimir1983 · Сообщение **vladimir1983** » 18.02.14 20:06

Сегодня проверил файл, всё в индексе и ошибок нет

Moisey · Сообщение **Moisey** » 19.02.14 15:09

Shredder,

Подскажите, а как сделать, чтобы в Sitemap ссылки из галереи отображались, чтобы они тоже индексировались ?

Установил МОД SEO Gallary 1.1.4 далее модификациями подогнал его под 1.1.6, ссылки отображаются модифицированные,

теперь хочется чтобы вместе с конференциями и ссылки на галерею вставлялись в Sitemap ?

Спасибо.

Сообщение **Shredder** » 20.02.14 00:36

Moisey
Здесь нужно писать отдельную карту под этот мод. Это к фанатам галереи, я ей не пользуюсь.

Blaze · Сообщение **Blaze** » 25.02.14 19:38

Добрый вечер!

Shredder, можно-ли Вашу карту сайта для ботов (phpBB3 SEO Sitemap) адаптировать под мод Simple SEO Mod
Как помнится, Вы мне помогли с исправлением входа в ACP для Simple SEO Mod for PHPBB3. Заранее большое спасибо!

Сообщение **Shredder** » 26.02.14 14:56

Blaze писал(а):Вы мне помогли с исправлением входа в ACP для Simple SEO Mod for PHPBB3

Да по-моему этому моду помощь - что мёртвому припарка

Исправишь одно - сломаешь другое, слишком уж он не доработан. Или я не прав?
Вход в ACP работает с тех пор?

Правильно ли я понимаю, что все преобразования URL в моде осуществляются при помощи одной функции - replace_for_mod_rewrite ? Или есть что-то ещё?

Blaze · Сообщение **Blaze** » 26.02.14 21:55

Shredder писал(а):Исправишь одно - сломаешь другое, слишком уж он не доработан. Или я не прав?

Да, так и есть. Стоит как временный вариант.

Shredder писал(а):Вход в ACP работает с тех пор?

Работает.

Shredder писал(а):преобразования URL в моде осуществляются при помощи одной функции - replace_for_mod_rewrite

Да, плюс еще правила в .htaccess прописаны.

Blaze · Сообщение **Blaze** » 06.03.14 12:09

Поставил phpBB SEO Ultimate SEO URL V 0.7.0 и Вашу карту. Спасибо.