|
Поделиться

Список сушествующих ботов для форума

Обсуждаем здесь всё, что связано с оптимизацией форума под поисковые системы (Яндекс, Гугл и др.) и улучшением позиций в поисковой выдаче.

Сообщение Alex » 13.01.17 16:07

Всем доброго времени суток. Поделитесь пожалуйста списком ботов, которые у вас прописаны и активно посещают сайт.

Вот мои боты, которые покоряют сайт (имя - агент):

Yahoo [Bot] - Yahoo! Slurp
Grapeshot [Bot] - Mozilla/5.0 (compatible; GrapeshotCrawler/2.0; +http://www.grapeshot.co.uk/crawler.php)
Yandex [Bot] - Yandex
Bing [Bot] - bingbot/
Yandex Direct [Bot] - Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots)
Google Adsense [Bot] - Mediapartners-Google
Twitter [Bot] - Twitterbot/1.0
MailRu [Bot] - Mail.Ru
GetIntent [Bot] - GetIntent Crawler (http://getintent.com/bot.html)
Sputnik [Bot] - Mozilla/5.0 (compatible; SputnikBot/2.3; +http://corp.sputnik.ru/webmaster)
Google [Bot] - Googlebot
Alexa [Bot] - ia_archiver
Proximic [Bot] - Mozilla/5.0 (compatible; proximic; +http://www.proximic.com/info/spider.php)
MSNbot Media [Bot] - msnbot-media/
Majestic-12 [Bot] - MJ12bot/
Baidu [Spider] - Baiduspider
Facebook [Bot] - facebookexternalhit/1.1
WotBox [Bot] - Wotbox/2.01 (+http://www.wotbox.com/bot/)
MetaURI [Bot] - MetaURI API/2.0 +metauri.com
Apple [Bot] - Applebot/0.1; +http://www.apple
DeuSu [Bot] - Mozilla/5.0 (compatible; DeuSu/5.0.2; +https://deusu.de/robot.html
Ahrefs [Bot] - Mozilla/5.0 (compatible; AhrefsBot/5.1; +http://ahrefs.com/robot/)
Alex
 
Сообщения: 62
Зарегистрирован: 19.11.13 16:30

Сообщение Shredder » 13.01.17 17:30

Если тема касается непосредственно продвижения форума в интернете, то я считаю, что для России кроме Яндекса, Гугла и ещё пары-тройки ботов - все остальные не актуальны.

Или интересуют в принципе любые боты, которые могут посещать форум?
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.
Shredder
Администратор
 
Сообщения: 854
Зарегистрирован: 22.08.13 09:05

Сообщение Alex » 13.01.17 18:13

Интересуют любые боты, которые посещают форум. Просто у меня ботов набита гора, но 70% из них ни разу не заходили в гости. Скорее всего не правильно юзер агент прописан. Поэтому и хотелось бы актуализировать список. Да и вообще интересно смотреть статистику, какие боты тебя посещают. Тот же самый китайский Baidu постоянно вижу, хотя сайт на русском языке и ни одного иероглифа нет )))

Идею про сбор живых ботов у меня родил топик Скрипт массового добавления ботов - Bots Install Script
Alex
 
Сообщения: 62
Зарегистрирован: 19.11.13 16:30

Сообщение Shredder » 14.01.17 15:51

Alex писал(а): Скорее всего не правильно юзер агент прописан.

Или они просто не заходят.
Китайский Байду вездесущий, а большинство других иностранных ботов могут просто плевать на русские форумы. Они идут в комплекте phpBB только потому, что это изначально зарубежный движок. Там они заходят, тут - нет.

Постоянно вижу у себя Mail.Ru, Yandex и Google, Baidu, Bing, Majestic и Alexa

Сделал скриншот из админки с пары своих форумов. Там видно, какие боты и когда заходили.
Вложения
bots-acp-2.png
bots-acp-1.png
bots.png
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.
Shredder
Администратор
 
Сообщения: 854
Зарегистрирован: 22.08.13 09:05

Сообщение Sumanai » 15.01.17 02:01

Shredder писал(а):Постоянно вижу у себя Mail.Ru, Yandex и Google, Baidu, Bing, Majestic и Alexa

Ещё Ahrefs весьма активен, хотя это не поисковик.
Sumanai
 
Сообщения: 28
Зарегистрирован: 05.12.15 20:47

Сообщение Энкуатро » 16.01.17 02:46

Shredder писал(а):Если тема касается непосредственно продвижения форума в интернете, то я считаю, что для России кроме Яндекса, Гугла и ещё пары-тройки ботов - все остальные не актуальны.


Подскажите, на сайте Яндекса пару десятков ботов, их всех надо добавлять? А то у меня только один был, директ.

Добавлено спустя 3 минуты 38 секунд:
Sumanai писал(а):Ещё Ahrefs весьма активен, хотя это не поисковик.


Буэнас диас маэстро Суманай!
Вы бы пришли на помощь, а то Смайликсу сейчас не до меня, он к Кубе готовится...
С этими настройками форума не могу разобраться! Боты со своими ссылками пачками регаются, запарился чистить.
Аватара пользователя
Энкуатро
 
Сообщения: 12
Зарегистрирован: 16.01.17 02:39


Вернуться в Раскрутка и оптимизация phpBB

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1