|
Поделиться

Скрипт массового добавления ботов - Bots Install Script

Начиная с версии 3.1.x, моды были заменены "расширениями", которые выполняют ту же самую функцию, но без изменений в исходном коде движка.

Сообщение Shredder » 23.08.15 03:46

Добавляет на ваш форум набор из ~400 поисковых ботов, в числе которых присутствуют популярные русские боты, такие как Yandex, Mailru и т.д., необходимые для правильной индексации в поисковых системах. Исполняемый код копировался из includes/acp/acp_bots.php и дорабатывался под массовую добавку, поэтому все детали процесса должны быть учтены.
Для установки распакуйте содержимое архива, поместите его в корневую папку форума и запустите. Перед запуском сделайте резервную копию БД. За повреждение вашей БД в случае игнорирования данного предупреждения я ответственности не несу :D Выполнение скрипта может занять очень долгое время, особенно на слабых серверах, поэтому наберитесь терпения.

Чтобы отредактировать список ботов, откройте скрипт в редакторе Notepad++, найдите строку:
Код: Выделить всё
$bots = array(

И после неё добавляйте новые элементы массива. Или удалите какие-то из существующих, если они вам не нужны.

По умолчанию скрипт выводит предупреждение о совпадающих именах, если какие-то боты из списка уже есть на форуме, и если найдено хоть одно совпадение, то не добавляет ничего. Чтобы это поведение изменить и чтобы скрипт просто игнорировал совпадающие имена (добавлял только те, которых нет), запустите install_bots.php с параметром ignore=1, например:

Код: Выделить всё
http://адрес_вашего_форума/install_bots.php?ignore=1

Bots Install Script v1.0.1.zip
(6.7 КБ) Скачиваний: 531
Мои моды и расширения для phpBB
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.
Shredder
Администратор
 
Сообщения: 975
Зарегистрирован: 22.08.13 09:05

Сообщение c61 » 23.08.15 10:15

Thnks, списочек хороший. На 3.1 работает.

Что можно добавить/изменить:

- стиль не по умолчанию

-вместо ручной правки значения IGNORE_TAKEN_NAMES false/true сделать параметр

- у некоторых ботов (например, от яндекса) несколько "ипостасей", а в с скрипте useragent порой их не различает; иногда полезно значть, что именно разыскивает бот; для упомянутого яндекса, например:
Код: Выделить всё
		'Yandex [Images]'			=> array('YandexImages/', ''),
		'Yandex [Video]'			=> array('YandexVideo/', ''),
		'Yandex [Media]'			=> array('YandexMedia/', ''),
		'Yandex [Blogs]'			=> array('YandexBlogs/', ''),
		'Yandex [Addurl]'			=> array('YandexAddurl/', ''),
		'Yandex [Direct]'			=> array('YandexDirect/', ''),
		'Yandex [Metrika]'			=> array('YandexMetrika/', ''),
		'Yandex [Catalog]'			=> array('YandexCatalog/', ''),
		'Yandex [News]'				=> array('YandexNews/', ''),


Хотя и так всё хорошо :D
Аватара пользователя
c61
Разработчик модов
 
Сообщения: 249
Зарегистрирован: 24.08.13 16:46

Сообщение Shredder » 23.08.15 13:45

c61 писал(а):-вместо ручной правки значения IGNORE_TAKEN_NAMES false/true сделать параметр

Сначала так и хотел, но почему-то подумал, что ручная будет удобней.

Спасибо за замечания, сделаем) Надо будет ещё проверить список на дублирующиеся юзер-агенты. Я вчера уже находил одного такого для Mail, удалил. И другие ошибки по мелочи правил, в основном с неполными именами типа Test [Bot. Но полностью проверить на дубли не успел.

Добавлено спустя 59 минут 51 секунду:
Нашёл 13 дублирующихся юзер-агентов. Позже исправлю.

Добавлено спустя 1 час 15 минут 47 секунд:
c61 писал(а):- стиль не по умолчанию

Стиль и язык прописываются для всех ботов сразу, в строчках:
Код: Выделить всё
		'bot_lang'		=> $config['default_lang'],
		'bot_style'		=> $config['default_style'],

Или ты предлагаешь задавать их для каждого бота в отдельности? Не совсем понял.
Мои моды и расширения для phpBB
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.
Shredder
Администратор
 
Сообщения: 975
Зарегистрирован: 22.08.13 09:05

Сообщение c61 » 23.08.15 16:09

Не, наверно лучше пусть будет default...
Снимаю предложение по стилю :D
Аватара пользователя
c61
Разработчик модов
 
Сообщения: 249
Зарегистрирован: 24.08.13 16:46

Сообщение Shredder » 23.08.15 17:27

Версия 1.0.1. Изменения:
- Ещё раз проверен и исправлен список ботов, на этот раз с использованием программных средств.
- Учтены пожелания от c61
- Другие мелкие исправления.

Добавлен копирайт :D
Мои моды и расширения для phpBB
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.
Shredder
Администратор
 
Сообщения: 975
Зарегистрирован: 22.08.13 09:05

Сообщение staiki » 24.08.15 01:49

Shredder писал(а):Добавляет на ваш форум набор из ~400 поисковых ботов,

И зачем они нужны? Сервак нагружать? Достаточно 10-ти основных от гугла и яндекса. Другие и даром не нужны. Имхо.
staiki
 
Сообщения: 74
Зарегистрирован: 14.06.15 10:41
Откуда: Киев

Сообщение Shredder » 24.08.15 02:56

Новые боты никак не нагружают сервак, там нагружать нечему. Добавление ботов влияет только на отображение соответствующих поисковиков, лазающих по форуму, которые иначе отображались бы как гости.
Мои моды и расширения для phpBB
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.
Shredder
Администратор
 
Сообщения: 975
Зарегистрирован: 22.08.13 09:05

Сообщение Xisp » 24.08.15 16:24

staiki писал(а):Сервак нагружать?

Наоборот. Если бот не записан как бот, то он создаёт намного большую нагрузку на сервер.
staiki писал(а):Достаточно 10-ти основных от гугла и яндекса. Другие и даром не нужны.

Скажете это когда к вам Ahrefs заглянет. Этот неуёмный робот сканирует со скоростью звука.
Xisp
 
Сообщения: 196
Зарегистрирован: 05.04.14 18:00

Сообщение staiki » 27.08.15 18:10

Я так и не услышал - зачем нужно на сайте 400 ботов?

ЗЫ. Xisp ТЫ И ТУТ клонов наштамповал? :lol: Я бы рекомендовал бы Shredder забанить оба твои профиля : c61 и Xisp Тут тебе не форум phpBB Guru. :lol:
staiki
 
Сообщения: 74
Зарегистрирован: 14.06.15 10:41
Откуда: Киев

Сообщение Shredder » 27.08.15 20:43

Это не клоны, а разные люди. И вообще-то тема не про клонов)
Мои моды и расширения для phpBB
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.
Shredder
Администратор
 
Сообщения: 975
Зарегистрирован: 22.08.13 09:05

Сообщение Predator » 12.11.15 19:42

staiki писал(а):И зачем они нужны? Сервак нагружать?

И чем же интересно они сервак нагрузят? :lol:

staiki писал(а):Другие и даром не нужны. Имхо.

Ты бы за всех то не отвечал! Если тебе не нужны, это твои проблемы. Мне допустим интересно, какие гады лазят у меня по форуму, потому-что некоторых вообще пускать не стоит на форум и закрывать им доступ ибо они, как раз таки могут нагрузить сервак своим присутсвием и запросами, например есть такой гад, как DotBot. А с таким скриптом таких гадов проще отлавливать.

Xisp писал(а):Если бот не записан как бот, то он создаёт намного большую нагрузку на сервер.

Вот именно!

Xisp писал(а):Скажете это когда к вам Ahrefs заглянет. Этот неуёмный робот сканирует со скоростью звука.

У меня живёт на форуме, я его сам добавил кстати, может ему тоже кислород перекрыть :)

Добавлено спустя 4 минуты 49 секунд:
Shredder, на всякий случай боты яшки:
Mozilla/5.0 (compatible; YandexBot/3.0) — основной индексирующий робот.
Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector) — робот, определяющий зеркала сайтов.
Mozilla/5.0 (compatible; YandexImages/3.0) — индексатор Яндекс.Картинок.
Mozilla/5.0 (compatible; YandexVideo/3.0) — индексатор Яндекс.Видео.
Mozilla/5.0 (compatible; YandexMedia/3.0) — робот, индексирующий мультимедийные данные.
Mozilla/5.0 (compatible; YandexBlogs/0.99; robot) — робот поиска по блогам, индексирующий комментарии постов.
Mozilla/5.0 (compatible; YandexAddurl/2.0) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL».
Mozilla/5.0 (compatible; YandexFavicons/1.0) — робот, индексирующий пиктограммы сайтов (favicons).
Mozilla/5.0 (compatible; YandexDirect/3.0) — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса.
Mozilla/5.0 (compatible; YandexDirect/2.0; Dyatel) — «простукивалка» Яндекс.Директа.
Mozilla/5.0 (compatible; YandexMetrika/2.0) — робот Яндекс.Метрики.
Mozilla/5.0 (compatible; YandexCatalog/3.0; Dyatel) — «простукивалка» Яндекс.Каталога.
Mozilla/5.0 (compatible; YandexNews/3.0) — индексатор Яндекс.Новостей.
Mozilla/5.0 (compatible; YandexImageResizer/2.0) — робот мобильных сервисов
Аватара пользователя
Predator
 
Сообщения: 94
Зарегистрирован: 06.11.15 13:59

Сообщение Alex » 27.01.17 14:18

Народ, подскажите пожалуйста, этот скрипт затрет всех имеющихся ботов и добавит своих, или же обновит имеющиеся и добавит новых ? Либо туплю, либо не особо ясно написано ...
Alex
 
Сообщения: 68
Зарегистрирован: 19.11.13 16:30

Сообщение Shredder » 27.01.17 14:31

Alex
Если скрипт запущен в режиме по умолчанию, то сначала он сканирует БД на предмет возможных дубликатов, и при нахождении хотя бы одного прекращает работу, при этом админу выводится соответствующее предупреждение, мол "Не было добавлено ни одного бота, так как найдены дублирующиеся имена". Если же скрипт запущен с параметром ignore=1 в адресной строке, то он пропускает добавление дублирующихся имён и добавляет только новые. В обоих случаях скрипт не трогает ничего из уже имеющихся в базе данных.
Мои моды и расширения для phpBB
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.
Shredder
Администратор
 
Сообщения: 975
Зарегистрирован: 22.08.13 09:05

Сообщение Alex » 27.01.17 17:20

Дубликаты проверяются по имени или юзер агенту ?
Alex
 
Сообщения: 68
Зарегистрирован: 19.11.13 16:30

Сообщение Shredder » 28.01.17 06:14

Alex
По имени. Но можно и юзер-агент добавить при желании. Будут проверяться по обоим условиям.
Мои моды и расширения для phpBB
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.
Shredder
Администратор
 
Сообщения: 975
Зарегистрирован: 22.08.13 09:05

След.

Вернуться в Скрипты и расширения для phpBB

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 3