|
Поделиться

Скрипт массового добавления ботов - Bots Install Script

Начиная с версии 3.1.x, моды были заменены "расширениями", которые выполняют ту же самую функцию, но без изменений в исходном коде движка.

Сообщение Shredder » 23.08.15 03:46

Добавляет на ваш форум набор из ~400 поисковых ботов, в числе которых присутствуют популярные русские боты, такие как Yandex, Mailru и т.д., необходимые для правильной индексации в поисковых системах. Исполняемый код копировался из includes/acp/acp_bots.php и дорабатывался под массовую добавку, поэтому все детали процесса должны быть учтены.
Для установки распакуйте содержимое архива, поместите его в корневую папку форума и запустите. Перед запуском сделайте резервную копию БД. За повреждение вашей БД в случае игнорирования данного предупреждения я ответственности не несу :D Выполнение скрипта может занять очень долгое время, особенно на слабых серверах, поэтому наберитесь терпения.

Чтобы отредактировать список ботов, откройте скрипт в редакторе Notepad++, найдите строку:
Код: Выделить всё
$bots = array(

И после неё добавляйте новые элементы массива. Или удалите какие-то из существующих, если они вам не нужны.

По умолчанию скрипт выводит предупреждение о совпадающих именах, если какие-то боты из списка уже есть на форуме, и если найдено хоть одно совпадение, то не добавляет ничего. Чтобы это поведение изменить и чтобы скрипт просто игнорировал совпадающие имена (добавлял только те, которых нет), запустите install_bots.php с параметром ignore=1, например:

Код: Выделить всё
http://адрес_вашего_форума/install_bots.php?ignore=1

Bots Install Script v1.0.1.zip
(6.7 КБ) Скачиваний: 376
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.
Shredder
Администратор
 
Сообщения: 867
Зарегистрирован: 22.08.13 09:05

Сообщение c61 » 23.08.15 10:15

Thnks, списочек хороший. На 3.1 работает.

Что можно добавить/изменить:

- стиль не по умолчанию

-вместо ручной правки значения IGNORE_TAKEN_NAMES false/true сделать параметр

- у некоторых ботов (например, от яндекса) несколько "ипостасей", а в с скрипте useragent порой их не различает; иногда полезно значть, что именно разыскивает бот; для упомянутого яндекса, например:
Код: Выделить всё
		'Yandex [Images]'			=> array('YandexImages/', ''),
		'Yandex [Video]'			=> array('YandexVideo/', ''),
		'Yandex [Media]'			=> array('YandexMedia/', ''),
		'Yandex [Blogs]'			=> array('YandexBlogs/', ''),
		'Yandex [Addurl]'			=> array('YandexAddurl/', ''),
		'Yandex [Direct]'			=> array('YandexDirect/', ''),
		'Yandex [Metrika]'			=> array('YandexMetrika/', ''),
		'Yandex [Catalog]'			=> array('YandexCatalog/', ''),
		'Yandex [News]'				=> array('YandexNews/', ''),


Хотя и так всё хорошо :D
Аватара пользователя
c61
Разработчик модов
 
Сообщения: 249
Зарегистрирован: 24.08.13 16:46

Сообщение Shredder » 23.08.15 13:45

c61 писал(а):-вместо ручной правки значения IGNORE_TAKEN_NAMES false/true сделать параметр

Сначала так и хотел, но почему-то подумал, что ручная будет удобней.

Спасибо за замечания, сделаем) Надо будет ещё проверить список на дублирующиеся юзер-агенты. Я вчера уже находил одного такого для Mail, удалил. И другие ошибки по мелочи правил, в основном с неполными именами типа Test [Bot. Но полностью проверить на дубли не успел.

Добавлено спустя 59 минут 51 секунду:
Нашёл 13 дублирующихся юзер-агентов. Позже исправлю.

Добавлено спустя 1 час 15 минут 47 секунд:
c61 писал(а):- стиль не по умолчанию

Стиль и язык прописываются для всех ботов сразу, в строчках:
Код: Выделить всё
		'bot_lang'		=> $config['default_lang'],
		'bot_style'		=> $config['default_style'],

Или ты предлагаешь задавать их для каждого бота в отдельности? Не совсем понял.
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.
Shredder
Администратор
 
Сообщения: 867
Зарегистрирован: 22.08.13 09:05

Сообщение c61 » 23.08.15 16:09

Не, наверно лучше пусть будет default...
Снимаю предложение по стилю :D
Аватара пользователя
c61
Разработчик модов
 
Сообщения: 249
Зарегистрирован: 24.08.13 16:46

Сообщение Shredder » 23.08.15 17:27

Версия 1.0.1. Изменения:
- Ещё раз проверен и исправлен список ботов, на этот раз с использованием программных средств.
- Учтены пожелания от c61
- Другие мелкие исправления.

Добавлен копирайт :D
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.
Shredder
Администратор
 
Сообщения: 867
Зарегистрирован: 22.08.13 09:05

Сообщение staiki » 24.08.15 01:49

Shredder писал(а):Добавляет на ваш форум набор из ~400 поисковых ботов,

И зачем они нужны? Сервак нагружать? Достаточно 10-ти основных от гугла и яндекса. Другие и даром не нужны. Имхо.
staiki
 
Сообщения: 74
Зарегистрирован: 14.06.15 10:41
Откуда: Киев

Сообщение Shredder » 24.08.15 02:56

Новые боты никак не нагружают сервак, там нагружать нечему. Добавление ботов влияет только на отображение соответствующих поисковиков, лазающих по форуму, которые иначе отображались бы как гости.
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.
Shredder
Администратор
 
Сообщения: 867
Зарегистрирован: 22.08.13 09:05

Сообщение Xisp » 24.08.15 16:24

staiki писал(а):Сервак нагружать?

Наоборот. Если бот не записан как бот, то он создаёт намного большую нагрузку на сервер.
staiki писал(а):Достаточно 10-ти основных от гугла и яндекса. Другие и даром не нужны.

Скажете это когда к вам Ahrefs заглянет. Этот неуёмный робот сканирует со скоростью звука.
Xisp
 
Сообщения: 196
Зарегистрирован: 05.04.14 18:00

Сообщение staiki » 27.08.15 18:10

Я так и не услышал - зачем нужно на сайте 400 ботов?

ЗЫ. Xisp ТЫ И ТУТ клонов наштамповал? :lol: Я бы рекомендовал бы Shredder забанить оба твои профиля : c61 и Xisp Тут тебе не форум phpBB Guru. :lol:
staiki
 
Сообщения: 74
Зарегистрирован: 14.06.15 10:41
Откуда: Киев

Сообщение Shredder » 27.08.15 20:43

Это не клоны, а разные люди. И вообще-то тема не про клонов)
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.
Shredder
Администратор
 
Сообщения: 867
Зарегистрирован: 22.08.13 09:05

Сообщение Predator » 12.11.15 19:42

staiki писал(а):И зачем они нужны? Сервак нагружать?

И чем же интересно они сервак нагрузят? :lol:

staiki писал(а):Другие и даром не нужны. Имхо.

Ты бы за всех то не отвечал! Если тебе не нужны, это твои проблемы. Мне допустим интересно, какие гады лазят у меня по форуму, потому-что некоторых вообще пускать не стоит на форум и закрывать им доступ ибо они, как раз таки могут нагрузить сервак своим присутсвием и запросами, например есть такой гад, как DotBot. А с таким скриптом таких гадов проще отлавливать.

Xisp писал(а):Если бот не записан как бот, то он создаёт намного большую нагрузку на сервер.

Вот именно!

Xisp писал(а):Скажете это когда к вам Ahrefs заглянет. Этот неуёмный робот сканирует со скоростью звука.

У меня живёт на форуме, я его сам добавил кстати, может ему тоже кислород перекрыть :)

Добавлено спустя 4 минуты 49 секунд:
Shredder, на всякий случай боты яшки:
Mozilla/5.0 (compatible; YandexBot/3.0) — основной индексирующий робот.
Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector) — робот, определяющий зеркала сайтов.
Mozilla/5.0 (compatible; YandexImages/3.0) — индексатор Яндекс.Картинок.
Mozilla/5.0 (compatible; YandexVideo/3.0) — индексатор Яндекс.Видео.
Mozilla/5.0 (compatible; YandexMedia/3.0) — робот, индексирующий мультимедийные данные.
Mozilla/5.0 (compatible; YandexBlogs/0.99; robot) — робот поиска по блогам, индексирующий комментарии постов.
Mozilla/5.0 (compatible; YandexAddurl/2.0) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL».
Mozilla/5.0 (compatible; YandexFavicons/1.0) — робот, индексирующий пиктограммы сайтов (favicons).
Mozilla/5.0 (compatible; YandexDirect/3.0) — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса.
Mozilla/5.0 (compatible; YandexDirect/2.0; Dyatel) — «простукивалка» Яндекс.Директа.
Mozilla/5.0 (compatible; YandexMetrika/2.0) — робот Яндекс.Метрики.
Mozilla/5.0 (compatible; YandexCatalog/3.0; Dyatel) — «простукивалка» Яндекс.Каталога.
Mozilla/5.0 (compatible; YandexNews/3.0) — индексатор Яндекс.Новостей.
Mozilla/5.0 (compatible; YandexImageResizer/2.0) — робот мобильных сервисов
Аватара пользователя
Predator
 
Сообщения: 63
Зарегистрирован: 06.11.15 13:59

Сообщение Alex » 27.01.17 14:18

Народ, подскажите пожалуйста, этот скрипт затрет всех имеющихся ботов и добавит своих, или же обновит имеющиеся и добавит новых ? Либо туплю, либо не особо ясно написано ...
Alex
 
Сообщения: 65
Зарегистрирован: 19.11.13 16:30

Сообщение Shredder » 27.01.17 14:31

Alex
Если скрипт запущен в режиме по умолчанию, то сначала он сканирует БД на предмет возможных дубликатов, и при нахождении хотя бы одного прекращает работу, при этом админу выводится соответствующее предупреждение, мол "Не было добавлено ни одного бота, так как найдены дублирующиеся имена". Если же скрипт запущен с параметром ignore=1 в адресной строке, то он пропускает добавление дублирующихся имён и добавляет только новые. В обоих случаях скрипт не трогает ничего из уже имеющихся в базе данных.
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.
Shredder
Администратор
 
Сообщения: 867
Зарегистрирован: 22.08.13 09:05

Сообщение Alex » 27.01.17 17:20

Дубликаты проверяются по имени или юзер агенту ?
Alex
 
Сообщения: 65
Зарегистрирован: 19.11.13 16:30

Сообщение Shredder » 28.01.17 06:14

Alex
По имени. Но можно и юзер-агент добавить при желании. Будут проверяться по обоим условиям.
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.
Shredder
Администратор
 
Сообщения: 867
Зарегистрирован: 22.08.13 09:05


Вернуться в Скрипты и расширения для phpBB

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1