Карта сайта для ботов (phpBB3 SEO Sitemap)

[Predator]

Чтобы теги были отдельной страницей, как раздел и прочее и в поиске высвечивались ЯНдекса

Они итак отдельной страницей и Яндекс их хавает на ура.

[romeo_piter]

Всем добра.

Внезапно отвалилась sitemap. Ругаются и гугл и яндекс.
Гугл просто пишет что ошибка без объяснения причин,
яндекс дает такую инфу:

Код: Выделить всё

Неправильный адрес страницы (5 ошибок)
1
<b>[phpBB Debug] PHP Warning</b>: in file <b>[ROOT]/phpbb/session.php</b> on line <b>640</b>: <b>Trying to access array offset on value of type bool</b><br />
2
<b>[phpBB Debug] PHP Warning</b>: in file <b>[ROOT]/phpbb/session.php</b> on line <b>650</b>: <b>Undefined array key "user_id"</b><br />
3
<b>[phpBB Debug] PHP Warning</b>: in file <b>[ROOT]/phpbb/session.php</b> on line <b>1334</b>: <b>Undefined array key "user_type"</b><br />
4
<b>[phpBB Debug] PHP Warning</b>: in file <b>[ROOT]/phpbb/auth/auth.php</b> on line <b>65</b>: <b>Undefined array key "user_permissions"</b><br />
5
<b>[phpBB Debug] PHP Warning</b>: in file <b>[ROOT]/phpbb/auth/auth.php</b> on line <b>424</b>: <b>Undefined array key "user_type"</b><br />
Неправильный формат текста

При этом страница доступна, открывается, состав корректный.
Как быть, что делать, что не так?

Отправлено спустя 24 минуты 52 секунды:
Sitemap not return correct Content-type header
Sitemap file contains errors
Размер файла
8884887
Количество ссылок
48769
2 ошибок 0 предупреждений
Line_pos.
2 XML declaration allowed only at the start of the document
0 Failed to parse the XML resource '/var/www/wspstage.mentorvpn.com/sitemap-webtool/xsd/custom.xsd'.

Отправлено спустя 3 часа 31 секунду:
Причину проблемы нашел. Отключил яндекс бота.

В связи с этим возникает БОООЛЬШОЙ вопрос. При отключении в админке поискового бота, как яндекса в данном случае - все страницы для него отваливаются и сервер начинает отдавать 403 ошибку.
Так задумано движком? В чем тут логика? Получается, что если какого-то сильно импортного или нового или удаленного бота нет в списке ботов, то он не сможет проиндексировать контент? Почему ему нельзя отдавать данные как гостю?
Это поведение можно изменить?

[Shredder]

romeo_piter, в норме движок должен отдавать ему данные как гостю. Вероятно, бот был заблокирован каким-то расширением или на уровне сервера.

[romeo_piter]

Ваше расширение не при чем - просто информация о нечитаемости sitemap прилетела первой. Проблема была в удалении ботов, которые по необъяснимым причинам полностью не удалились.

[Leo Angel]

Поставил расширение, включил. Всё появилось и настраивается, но sitemap нет.
Общее число URL в карте - пусто.
Обязательно ли добавлять код к конфигурации сервера nginx?
phpBB 3.3.15, php 8.3.17

Что я сделал не так?

[Shredder]

На страницу генерации карты ваш_форум/sitemap.xml заходили?

Обязательно ли добавлять код к конфигурации сервера nginx?

Если у вас за переадресацию страниц на сервере отвечает nginx, то да. Если Apache (работает .htaccess), то нет.

[Leo Angel]

Заходил - нет такой страницы.
У меня nginx. Значит, нужно добавлять. Вечером добавлю и проверю.

Отправлено спустя 6 часов 54 минуты 35 секунд:
Не получается. Строки в настройках не даёт добавить - ругается!
Ну и карта сайта не создаётся.
Проверил на тестовом форуме - то же самое!
Что нужно ещё сделать?

[Shredder]

Что нужно ещё сделать?

Обратиться к тому, кто хорошо знает nginx, чтобы его настроить.

[Leo Angel]

То есть нужно правильно настроить rewrite. Верно?

[Shredder]

Да.
Варианты конфигураций сервера разные, версии ПО на сервере - тоже. Оттого и нет универсального решения на все случаи.

[Leo Angel]

Сейчас беседую с техподдержкой. Обещали помочь с настройкой.

[Leo Angel]

Техподдержка не помогла, но в конце концов сам настроил сервер и сейчас карта создаётся. В строке "Общее число URL в карте" появилось значение, сама карта по клику на ссылку открывается. Но в Google Search console уже 2 дня висит "Не удалось обработать файл Sitemap". То есть Google не видит карту и, естественно, её не обрабатывает. Результат - 11К страниц не индексированы. При этом проверил карту на ошибки - всё валидно, в Google Search console карта открывается.
Есть мысли где искать проблему?

[Shredder]

Но в Google Search console уже 2 дня висит "Не удалось обработать файл Sitemap". То есть Google не видит карту и, естественно, её не обрабатывает. Результат - 11К страниц не индексированы.

В панелях вебмастеров данные обрабатываются с задержкой. Там должно быть указано число, когда возникла ошибка. Вероятно, позже проиндексирует, обычно в течение двух недель. Если нет, то это уже вопрос к Гуглу, а не к плагину.
Индексация или не индексация страниц напрямую не связана с картой. Карта - это всего лишь рекомендация для поисковика, для удобного нахождения URL. Даже если карта не работает или её нет, он всё равно найдёт страницы. Обычно наоборот попадает всё подряд в индекс, даже если запрещено к индексации. За исключением случаев "тихого бана".

[Fuzi]

Здравствуйте, установил расширение. Сгенерировал sitemap "Number of URLs in this sitemap: 48453" Добавил в google. Через несколько дней обратил внимание, что кол-во страниц не растет. Оказалось сгенерированная страница пропала "404 Not Found
nginx". Несколько раз переустанавливал расширение, чистил кэш после каждого действия, перезапускал сервер, никакого результата, просто чудеса. Подкиньте пожалуйста хоть какую нибудь идею.

[Shredder]

Fuzi, здравствуйте, как раз непосредственно перед вашим сообщением решали аналогичную проблему. Настройте rewrite для nginx