Скрипт массового добавления ботов - Bots Install Script

Сообщение **Shredder** » 23.08.15 03:46

Добавляет на ваш форум набор из ~400 поисковых ботов, в числе которых присутствуют популярные русские боты, такие как Yandex, Mailru и т.д., необходимые для правильной индексации в поисковых системах. Исполняемый код копировался из includes/acp/acp_bots.php и дорабатывался под массовую добавку, поэтому все детали процесса должны быть учтены.
Для установки распакуйте содержимое архива, поместите его в корневую папку форума и запустите. Перед запуском сделайте резервную копию БД. За повреждение вашей БД в случае игнорирования данного предупреждения я ответственности не несу

Выполнение скрипта может занять очень долгое время, особенно на слабых серверах, поэтому наберитесь терпения.

Чтобы отредактировать список ботов, откройте скрипт в редакторе Notepad++, найдите строку:

Код: Выделить всё

$bots = array(

И после неё добавляйте новые элементы массива. Или удалите какие-то из существующих, если они вам не нужны.

По умолчанию скрипт выводит предупреждение о совпадающих именах, если какие-то боты из списка уже есть на форуме, и если найдено хоть одно совпадение, то не добавляет ничего. Чтобы это поведение изменить и чтобы скрипт просто игнорировал совпадающие имена (добавлял только те, которых нет), запустите install_bots.php с параметром ignore=1, например:

Код: Выделить всё

http://адрес_вашего_форума/install_bots.php?ignore=1

Bots Install Script v1.0.1.zip: (6.7 КБ) 1165 скачиваний

Bots Install Script v1.0.1.zip: (6.7 КБ) 1165 скачиваний

Сообщение **c61** » 23.08.15 10:15

Thnks, списочек хороший. На 3.1 работает.

Что можно добавить/изменить:

- стиль не по умолчанию

-вместо ручной правки значения IGNORE_TAKEN_NAMES false/true сделать параметр

- у некоторых ботов (например, от яндекса) несколько "ипостасей", а в с скрипте useragent порой их не различает; иногда полезно значть, что именно разыскивает бот; для упомянутого яндекса, например:

Код: Выделить всё

		'Yandex [Images]'			=> array('YandexImages/', ''),
		'Yandex [Video]'			=> array('YandexVideo/', ''),
		'Yandex [Media]'			=> array('YandexMedia/', ''),
		'Yandex [Blogs]'			=> array('YandexBlogs/', ''),
		'Yandex [Addurl]'			=> array('YandexAddurl/', ''),
		'Yandex [Direct]'			=> array('YandexDirect/', ''),
		'Yandex [Metrika]'			=> array('YandexMetrika/', ''),
		'Yandex [Catalog]'			=> array('YandexCatalog/', ''),
		'Yandex [News]'				=> array('YandexNews/', ''),

Хотя и так всё хорошо

Сообщение **Shredder** » 23.08.15 16:01

c61 писал(а):-вместо ручной правки значения IGNORE_TAKEN_NAMES false/true сделать параметр

Сначала так и хотел, но почему-то подумал, что ручная будет удобней.

Спасибо за замечания, сделаем) Надо будет ещё проверить список на дублирующиеся юзер-агенты. Я вчера уже находил одного такого для Mail, удалил. И другие ошибки по мелочи правил, в основном с неполными именами типа Test [Bot. Но полностью проверить на дубли не успел.

Добавлено спустя 59 минут 51 секунду:
Нашёл 13 дублирующихся юзер-агентов. Позже исправлю.

Добавлено спустя 1 час 15 минут 47 секунд:

c61 писал(а):- стиль не по умолчанию

Стиль и язык прописываются для всех ботов сразу, в строчках:

Код: Выделить всё

		'bot_lang'		=> $config['default_lang'],
		'bot_style'		=> $config['default_style'],

Или ты предлагаешь задавать их для каждого бота в отдельности? Не совсем понял.

Сообщение **c61** » 23.08.15 16:09

Не, наверно лучше пусть будет default...
Снимаю предложение по стилю

Сообщение **Shredder** » 23.08.15 17:27

Версия 1.0.1. Изменения:
- Ещё раз проверен и исправлен список ботов, на этот раз с использованием программных средств.
- Учтены пожелания от c61
- Другие мелкие исправления.

Добавлен копирайт

staiki · Сообщение **staiki** » 24.08.15 01:49

Shredder писал(а):Добавляет на ваш форум набор из ~400 поисковых ботов,

И зачем они нужны? Сервак нагружать? Достаточно 10-ти основных от гугла и яндекса. Другие и даром не нужны. Имхо.

Сообщение **Shredder** » 24.08.15 02:56

Новые боты никак не нагружают сервак, там нагружать нечему. Добавление ботов влияет только на отображение соответствующих поисковиков, лазающих по форуму, которые иначе отображались бы как гости.

Xisp · Сообщение **Xisp** » 24.08.15 16:24

staiki писал(а):Сервак нагружать?

Наоборот. Если бот не записан как бот, то он создаёт намного большую нагрузку на сервер.

staiki писал(а):Достаточно 10-ти основных от гугла и яндекса. Другие и даром не нужны.

Скажете это когда к вам Ahrefs заглянет. Этот неуёмный робот сканирует со скоростью звука.

staiki · Сообщение **staiki** » 27.08.15 18:10

Я так и не услышал - зачем нужно на сайте 400 ботов?

ЗЫ. Xisp ТЫ И ТУТ клонов наштамповал?

Я бы рекомендовал бы Shredder забанить оба твои профиля : c61 и Xisp Тут тебе не форум phpBB Guru.

Сообщение **Shredder** » 27.08.15 20:43

Это не клоны, а разные люди. И вообще-то тема не про клонов)

Predator · Сообщение **Predator** » 12.11.15 19:47

staiki писал(а):И зачем они нужны? Сервак нагружать?

И чем же интересно они сервак нагрузят?

staiki писал(а):Другие и даром не нужны. Имхо.

Ты бы за всех то не отвечал! Если тебе не нужны, это твои проблемы. Мне допустим интересно, какие гады лазят у меня по форуму, потому-что некоторых вообще пускать не стоит на форум и закрывать им доступ ибо они, как раз таки могут нагрузить сервак своим присутсвием и запросами, например есть такой гад, как DotBot. А с таким скриптом таких гадов проще отлавливать.

Xisp писал(а):Если бот не записан как бот, то он создаёт намного большую нагрузку на сервер.

Вот именно!

Xisp писал(а):Скажете это когда к вам Ahrefs заглянет. Этот неуёмный робот сканирует со скоростью звука.

У меня живёт на форуме, я его сам добавил кстати, может ему тоже кислород перекрыть

Добавлено спустя 4 минуты 49 секунд:
Shredder, на всякий случай боты яшки:

Mozilla/5.0 (compatible; YandexBot/3.0) — основной индексирующий робот.
Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector) — робот, определяющий зеркала сайтов.
Mozilla/5.0 (compatible; YandexImages/3.0) — индексатор Яндекс.Картинок.
Mozilla/5.0 (compatible; YandexVideo/3.0) — индексатор Яндекс.Видео.
Mozilla/5.0 (compatible; YandexMedia/3.0) — робот, индексирующий мультимедийные данные.
Mozilla/5.0 (compatible; YandexBlogs/0.99; robot) — робот поиска по блогам, индексирующий комментарии постов.
Mozilla/5.0 (compatible; YandexAddurl/2.0) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL».
Mozilla/5.0 (compatible; YandexFavicons/1.0) — робот, индексирующий пиктограммы сайтов (favicons).
Mozilla/5.0 (compatible; YandexDirect/3.0) — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса.
Mozilla/5.0 (compatible; YandexDirect/2.0; Dyatel) — «простукивалка» Яндекс.Директа.
Mozilla/5.0 (compatible; YandexMetrika/2.0) — робот Яндекс.Метрики.
Mozilla/5.0 (compatible; YandexCatalog/3.0; Dyatel) — «простукивалка» Яндекс.Каталога.
Mozilla/5.0 (compatible; YandexNews/3.0) — индексатор Яндекс.Новостей.
Mozilla/5.0 (compatible; YandexImageResizer/2.0) — робот мобильных сервисов

Alex · Сообщение **Alex** » 27.01.17 14:18

Народ, подскажите пожалуйста, этот скрипт затрет всех имеющихся ботов и добавит своих, или же обновит имеющиеся и добавит новых ? Либо туплю, либо не особо ясно написано ...

Сообщение **Shredder** » 27.01.17 14:31

Alex
Если скрипт запущен в режиме по умолчанию, то сначала он сканирует БД на предмет возможных дубликатов, и при нахождении хотя бы одного прекращает работу, при этом админу выводится соответствующее предупреждение, мол "Не было добавлено ни одного бота, так как найдены дублирующиеся имена". Если же скрипт запущен с параметром ignore=1 в адресной строке, то он пропускает добавление дублирующихся имён и добавляет только новые. В обоих случаях скрипт не трогает ничего из уже имеющихся в базе данных.

Alex · Сообщение **Alex** » 27.01.17 17:20

Дубликаты проверяются по имени или юзер агенту ?

Сообщение **Shredder** » 28.01.17 06:14

Alex
По имени. Но можно и юзер-агент добавить при желании. Будут проверяться по обоим условиям.