Они итак отдельной страницей и Яндекс их хавает на ура.
Карта сайта для ботов (phpBB3 SEO Sitemap)
-
- Сообщения: 6
- Зарегистрирован: 18.11.13 14:44
- Поблагодарили: 2 раза
Карта сайта для ботов (phpBB3 SEO Sitemap)
Всем добра.
Внезапно отвалилась sitemap. Ругаются и гугл и яндекс.
Гугл просто пишет что ошибка без объяснения причин,
яндекс дает такую инфу:
При этом страница доступна, открывается, состав корректный.
Как быть, что делать, что не так?
Отправлено спустя 24 минуты 52 секунды:
Sitemap not return correct Content-type header
Sitemap file contains errors
Размер файла
8884887
Количество ссылок
48769
2 ошибок 0 предупреждений
Line_pos.
2 XML declaration allowed only at the start of the document
0 Failed to parse the XML resource '/var/www/wspstage.mentorvpn.com/sitemap-webtool/xsd/custom.xsd'.
Отправлено спустя 3 часа 31 секунду:
Причину проблемы нашел. Отключил яндекс бота.
В связи с этим возникает БОООЛЬШОЙ вопрос. При отключении в админке поискового бота, как яндекса в данном случае - все страницы для него отваливаются и сервер начинает отдавать 403 ошибку.
Так задумано движком? В чем тут логика? Получается, что если какого-то сильно импортного или нового или удаленного бота нет в списке ботов, то он не сможет проиндексировать контент? Почему ему нельзя отдавать данные как гостю?
Это поведение можно изменить?
Внезапно отвалилась sitemap. Ругаются и гугл и яндекс.
Гугл просто пишет что ошибка без объяснения причин,
яндекс дает такую инфу:
Код: Выделить всё
Неправильный адрес страницы (5 ошибок)
1
<b>[phpBB Debug] PHP Warning</b>: in file <b>[ROOT]/phpbb/session.php</b> on line <b>640</b>: <b>Trying to access array offset on value of type bool</b><br />
2
<b>[phpBB Debug] PHP Warning</b>: in file <b>[ROOT]/phpbb/session.php</b> on line <b>650</b>: <b>Undefined array key "user_id"</b><br />
3
<b>[phpBB Debug] PHP Warning</b>: in file <b>[ROOT]/phpbb/session.php</b> on line <b>1334</b>: <b>Undefined array key "user_type"</b><br />
4
<b>[phpBB Debug] PHP Warning</b>: in file <b>[ROOT]/phpbb/auth/auth.php</b> on line <b>65</b>: <b>Undefined array key "user_permissions"</b><br />
5
<b>[phpBB Debug] PHP Warning</b>: in file <b>[ROOT]/phpbb/auth/auth.php</b> on line <b>424</b>: <b>Undefined array key "user_type"</b><br />
Неправильный формат текста
Как быть, что делать, что не так?
Отправлено спустя 24 минуты 52 секунды:
Sitemap not return correct Content-type header
Sitemap file contains errors
Размер файла
8884887
Количество ссылок
48769
2 ошибок 0 предупреждений
Line_pos.
2 XML declaration allowed only at the start of the document
0 Failed to parse the XML resource '/var/www/wspstage.mentorvpn.com/sitemap-webtool/xsd/custom.xsd'.
Отправлено спустя 3 часа 31 секунду:
Причину проблемы нашел. Отключил яндекс бота.
В связи с этим возникает БОООЛЬШОЙ вопрос. При отключении в админке поискового бота, как яндекса в данном случае - все страницы для него отваливаются и сервер начинает отдавать 403 ошибку.
Так задумано движком? В чем тут логика? Получается, что если какого-то сильно импортного или нового или удаленного бота нет в списке ботов, то он не сможет проиндексировать контент? Почему ему нельзя отдавать данные как гостю?
Это поведение можно изменить?
-
- Администратор
- Сообщения: 1073
- Зарегистрирован: 22.08.13 09:05
- Благодарил (а): 133 раза
- Поблагодарили: 264 раза
- Контактная информация:
Карта сайта для ботов (phpBB3 SEO Sitemap)
romeo_piter, в норме движок должен отдавать ему данные как гостю. Вероятно, бот был заблокирован каким-то расширением или на уровне сервера.
Мои моды и расширения для phpBB
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.
-
- Сообщения: 6
- Зарегистрирован: 18.11.13 14:44
- Поблагодарили: 2 раза
Карта сайта для ботов (phpBB3 SEO Sitemap)
Ваше расширение не при чем - просто информация о нечитаемости sitemap прилетела первой. Проблема была в удалении ботов, которые по необъяснимым причинам полностью не удалились.