Список сушествующих ботов для форума

Обсуждаем здесь всё, что связано с оптимизацией форума под поисковые системы (Яндекс, Гугл и др.) и улучшением позиций в поисковой выдаче.
Alex
Сообщения: 68
Зарегистрирован: 19.11.13 16:30
Благодарил (а): 16 раз
Поблагодарили: 5 раз

Список сушествующих ботов для форума

Сообщение Alex »

Всем доброго времени суток. Поделитесь пожалуйста списком ботов, которые у вас прописаны и активно посещают сайт.

Вот мои боты, которые покоряют сайт (имя - агент):

Yahoo [Bot] - Yahoo! Slurp
Grapeshot [Bot] - Mozilla/5.0 (compatible; GrapeshotCrawler/2.0; +http://www.grapeshot.co.uk/crawler.php)
Yandex [Bot] - Yandex
Bing [Bot] - bingbot/
Yandex Direct [Bot] - Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots)
Google Adsense [Bot] - Mediapartners-Google
Twitter [Bot] - Twitterbot/1.0
MailRu [Bot] - Mail.Ru
GetIntent [Bot] - GetIntent Crawler (http://getintent.com/bot.html)
Sputnik [Bot] - Mozilla/5.0 (compatible; SputnikBot/2.3; +http://corp.sputnik.ru/webmaster)
Google [Bot] - Googlebot
Alexa [Bot] - ia_archiver
Proximic [Bot] - Mozilla/5.0 (compatible; proximic; +http://www.proximic.com/info/spider.php)
MSNbot Media [Bot] - msnbot-media/
Majestic-12 [Bot] - MJ12bot/
Baidu [Spider] - Baiduspider
Facebook [Bot] - facebookexternalhit/1.1
WotBox [Bot] - Wotbox/2.01 (+http://www.wotbox.com/bot/)
MetaURI [Bot] - MetaURI API/2.0 +metauri.com
Apple [Bot] - Applebot/0.1; +http://www.apple
DeuSu [Bot] - Mozilla/5.0 (compatible; DeuSu/5.0.2; +https://deusu.de/robot.html
Ahrefs [Bot] - Mozilla/5.0 (compatible; AhrefsBot/5.1; +http://ahrefs.com/robot/)
Shredder
Администратор
Сообщения: 1069
Зарегистрирован: 22.08.13 09:05
Благодарил (а): 132 раза
Поблагодарили: 264 раза
Контактная информация:

Список сушествующих ботов для форума

Сообщение Shredder »

Если тема касается непосредственно продвижения форума в интернете, то я считаю, что для России кроме Яндекса, Гугла и ещё пары-тройки ботов - все остальные не актуальны.

Или интересуют в принципе любые боты, которые могут посещать форум?
Мои моды и расширения для phpBB
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.
Alex
Сообщения: 68
Зарегистрирован: 19.11.13 16:30
Благодарил (а): 16 раз
Поблагодарили: 5 раз

Список сушествующих ботов для форума

Сообщение Alex »

Интересуют любые боты, которые посещают форум. Просто у меня ботов набита гора, но 70% из них ни разу не заходили в гости. Скорее всего не правильно юзер агент прописан. Поэтому и хотелось бы актуализировать список. Да и вообще интересно смотреть статистику, какие боты тебя посещают. Тот же самый китайский Baidu постоянно вижу, хотя сайт на русском языке и ни одного иероглифа нет )))

Идею про сбор живых ботов у меня родил топик http://www.phpbb-work.ru/bots-install-script-t124.html
Shredder
Администратор
Сообщения: 1069
Зарегистрирован: 22.08.13 09:05
Благодарил (а): 132 раза
Поблагодарили: 264 раза
Контактная информация:

Список сушествующих ботов для форума

Сообщение Shredder »

Alex писал(а): Скорее всего не правильно юзер агент прописан.
Или они просто не заходят.
Китайский Байду вездесущий, а большинство других иностранных ботов могут просто плевать на русские форумы. Они идут в комплекте phpBB только потому, что это изначально зарубежный движок. Там они заходят, тут - нет.

Постоянно вижу у себя Mail.Ru, Yandex и Google, Baidu, Bing, Majestic и Alexa

Сделал скриншот из админки с пары своих форумов. Там видно, какие боты и когда заходили.
Вложения
bots-acp-2.png
bots-acp-1.png
bots.png
bots.png (4.85 КБ) 6188 просмотров
bots.png
bots.png (4.85 КБ) 6188 просмотров
Мои моды и расширения для phpBB
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.
Sumanai
Сообщения: 29
Зарегистрирован: 05.12.15 20:47
Благодарил (а): 8 раз
Поблагодарили: 5 раз
Контактная информация:

Список сушествующих ботов для форума

Сообщение Sumanai »

Shredder писал(а):Постоянно вижу у себя Mail.Ru, Yandex и Google, Baidu, Bing, Majestic и Alexa
Ещё Ahrefs весьма активен, хотя это не поисковик.
Аватара пользователя
Энкуатро
Сообщения: 12
Зарегистрирован: 16.01.17 02:39
Благодарил (а): 6 раз
Поблагодарили: 1 раз

Список сушествующих ботов для форума

Сообщение Энкуатро »

Shredder писал(а):Если тема касается непосредственно продвижения форума в интернете, то я считаю, что для России кроме Яндекса, Гугла и ещё пары-тройки ботов - все остальные не актуальны.
Подскажите, на сайте Яндекса пару десятков ботов, их всех надо добавлять? А то у меня только один был, директ.

Добавлено спустя 3 минуты 38 секунд:
Sumanai писал(а):Ещё Ahrefs весьма активен, хотя это не поисковик.
Буэнас диас маэстро Суманай!
Вы бы пришли на помощь, а то Смайликсу сейчас не до меня, он к Кубе готовится...
С этими настройками форума не могу разобраться! Боты со своими ссылками пачками регаются, запарился чистить.
AleksandrSaz
Сообщения: 1
Зарегистрирован: 31.10.17 19:24

Бот PHP API

Сообщение AleksandrSaz »

Здравствуйте!!! С уважением к вам Александр Сазанов!
Помогите создать бота, а то знакомый разработчик, начал мне помогать, и забросил, по семейным обстоятельствам. если можно то сделать три в одном так например скажем, т.у. говорун, музыка, ютуб, ну и как ниже указано анекдоты, заранее благодарю!

API внешнего бота

Реализовать внешнего бота можно на любом удобном языке программирования, необходимо только получить данные от сервера Сервиса. Данные на внешний сервер передаются методом POST через следующие переменные:

event — событие, которое произвел пользователь;
chatid — ID чата в системе August4u;
userid — ID сессии пользователя;
profile — номер профайла пользователя, если он зарегистрирован;
nick — ник пользователя;
mess — сообщение пользователя;
param — битовый набор флагов, определяющих свойства пользователя (пол, личка, невидимость и т.д.)
используется переменная param, в которой содержатся свойства пользователя.

Всего внешний бот реагирует на три события от пользователя и на одно событие для запуска заданий по расписанию, соответственно, переменная event может принимать одно из значений:

enter — пользователь вошел в чат;
quit — пользователь покинул чат;
mess — пользователь отправил сообщение;
cmd — запуск задания по расписанию.

Для событий enter и quit не передаются сообщения, а для события quit также еще не передается и ник пользователя. Для события cmd имя команды передается в переменной mess.

Т.к. событие cmd инициируется не пользователем, то переменные profile, nick и param не содержат никаких значений, а переменная userid используется особым образом — в ней передается битовый набор комнат, в которых должно отображаться сообщение бота.

Результатом работы внешнего бота должна быть строка в кодировке windows-1251, которая будет выведена в окно чата от имени бота.

Шаблон внешнего бота на PHP

<?
define ('USER_SEX', 0x03);
define ('USER_BIRTHDAY', 0x04);
define ('USER_NEWBIE', 0x08);
define ('USER_PRIVATE', 0x10);
define ('USER_INVISIBLE', 0x20);
define ('USER_ADMIN', 0x40);

$Event = $_POST ['event'];
$ChatID = intVal ($_POST ['chatid']);
$UserID = intVal ($_POST ['userid']);
$Profile = intVal ($_POST ['profile']);
$Nick = $_POST ['nick'];
$Mess = $_POST ['mess'];
$Param = intVal ($_POST ['param']);
$Sex = $Param & USER_SEX; // получить пол пользователя: 0 = не определено, 1 = мужской, 2 = женский
$Birthday = $Param & USER_BIRTHDAY; // у пользователя день рождения
$Newbie = $Param & USER_NEWBIE; // пользователь зашел в чат с регистрацией первый раз
$Private = $Param & USER_PRIVATE; // пользователь отправил сообщение в личку
$Invisible = $Param & USER_INVISIBLE; // пользователь находится в невидимках
$Admin = $Param & USER_ADMIN; // пользователь является администратором

switch ($Event) {
case 'enter':
// обработчик входа пользователя в чат
...
break;
case 'quit':
// обработчик выхода пользователя из чата
...
break;
case 'mess':
// обработчик сообщения от пользователя
...
break;
}
?>

Пример использования задания по расписанию для вывода анекдота

<?
define ('USER_SEX', 0x03);
define ('USER_BIRTHDAY', 0x04);
define ('USER_NEWBIE', 0x08);
define ('USER_PRIVATE', 0x10);
define ('USER_INVISIBLE', 0x20);
define ('USER_ADMIN', 0x40);

$Event = $_POST ['event'];
$ChatID = intVal ($_POST ['chatid']);
$UserID = intVal ($_POST ['userid']);
$Profile = intVal ($_POST ['profile']);
$Nick = $_POST ['nick'];
$Mess = $_POST ['mess'];
$Param = intVal ($_POST ['param']);

switch ($Event) {
case 'enter':
break;
case 'quit':
break;
case 'mess':
break;
case 'cmd':
// имя задания в настройках бота anekdot
if ($_POST ['mess'] == 'anekdot') {
include "include/anekdot.inc.php";
$a = get_anekdot ();
print "$a";
exit;
}
break;
}
?>

Примерно пытался что то добавить ко второму скрипту ВОТ ПРИМЕР

<?php
$ARTICLE = array (
'http://lolanekdot.ru/anekdoty-pro-muzha/
'http://lolanekdot.ru/anekdoty-pro-muzhikov-parney/
'http://lolanekdot.ru/anekdoty-pro-zhenu/
'http://lolanekdot.ru/anekdoty-pro-zhenschin-devushek/
'http://lolanekdot.ru/anekdoty-pro-seks-pro-eto/
'http://lolanekdot.ru/milye-anekdoty/
'http://lolanekdot.ru/anekdoty-pro-papu-mamu/
'http://lolanekdot.ru/anekdoty-pro-syna-dochku/
'http://lolanekdot.ru/anekdoty-pro-ohotu-i-rybalku/
'http://lolanekdot.ru/anekdoty-pro-armiyu-soldat-voynu/
'http://lolanekdot.ru/anekdoty-pro-politiku/
'http://lolanekdot.ru/anekdoty-pro-rabotu/
'http://lolanekdot.ru/anekdoty-pro-sport/
'http://lolanekdot.ru/anekdoty-pro-poruchika-rzhevskogo/
'http://lolanekdot.ru/anekdoty-pro-vovochku/
'http://lolanekdot.ru/anekdoty-pro-shtirlica-myullera/
'http://lolanekdot.ru/anekdot-pro-sherlo ... a-vatsona/
'http://lolanekdot.ru/anekdoty-pro-zolot ... ku-dzhina/
'http://lolanekdot.ru/anekdoty-pro-petku ... vanovicha/
'http://lolanekdot.ru/anekdoty-pro-vinni ... pyatachka/
'http://lolanekdot.ru/anekdoty-gospod-bog/
'http://lolanekdot.ru/anekdoty-pro-teschu/
'http://lolanekdot.ru/anekdoty-pro-babok/
'http://lolanekdot.ru/anekdoty-pro-policiyu-i-miliciyu/
'http://lolanekdot.ru/anekdoty-otkroyte/
'http://lolanekdot.ru/anekdoty-pro-gai-i-gibdd/
'http://lolanekdot.ru/anekdoty-pro-narkomanov/
'http://lolanekdot.ru/anekdoty-pro-vrachey/
'http://lolanekdot.ru/anekdoty-pro-uchiteley/
'http://lolanekdot.ru/anekdoty-pro-shkolu/
'http://lolanekdot.ru/anekdoty-pro-uchenyh/
'http://lolanekdot.ru/anekdoty-pro-studentov/
'http://lolanekdot.ru/anekdoty-pro-sessiyu-i-ekzameny/
'http://lolanekdot.ru/anekdoty-pro-chukchu/
'http://lolanekdot.ru/anekdoty-pro-evreev/
'http://lolanekdot.ru/anekdoty-pro-estoncev/
'http://lolanekdot.ru/anekdoty-pro-moldavan/
'http://lolanekdot.ru/anekdoty-pro-progr ... isadminov/
'http://lolanekdot.ru/anekdoty-pro-kompyuter/
'http://lolanekdot.ru/anekdoty-pro-internet/
'http://lolanekdot.ru/anekdoty-pro-windows/
'http://lolanekdot.ru/anekdoty-pro-futbo ... ne-pahnet/
'http://lolanekdot.ru/anekdoty-pro-apteku/
'http://lolanekdot.ru/anekdoty-neizvestno-pro-chto/
);

function get_anekdot () {
global $ARTICLE;
$a = mt_rand (0, count ($ARTICLE) - 1);
$c = get_html ($ARTICLE [$a]);
$n = preg_match ("`.+?(\d+)`sm", $c, $r);
if ($n) {
$p = mt_rand (1, +$r [1]);
if ($p > 1)
$c = get_html ($ARTICLE [$a], $p);
}
$n = preg_match_all ("`\s*(.+?)`sm", $c, $r);
if ($n) {
$an = $r [1];
$an = $an [mt_rand (0, count ($an) - 1)];
$an = preg_replace ("``", "\n", $an);
$an = str_replace (" ", " ", $an);
return str_replace ("\n", "", preg_replace ("`\n\b`sm", " ", trim (strip_tags ($an))));
}
return null;
}

function get_html ( $URL, $p = 0 ) {
$curl = curl_init ($p ? "$URL/page/$p/" : $URL);
curl_setopt ($curl, CURLOPT_RETURNTRANSFER, 1);
$r = curl_exec ($curl);
curl_close ($curl);
return $r;
}
?>


С уважением,
Александр Сазанов
aleksandrsaz@mail.ru
Ответить