О ботах

Если требуется помощь с движком версии 3.1, спросите её здесь.
Аватара пользователя
Predator
Сообщения: 109
Зарегистрирован: 06.11.15 13:59
Благодарил (а): 11 раз
Поблагодарили: 7 раз
Контактная информация:

О ботах

Сообщение Predator »

Закрываем посещение сайта/форума нежелательными ботами, которые нагружают сервер, через файл htaccess. Перепробовал всякое, перерыв не мало сайтов рунета и не только, ничего из найденных примеров не помогало.
Методом проб, накатал такое, вроде помогло, надоедливые боты пропали с форума, посему, делюсь с вами, думаю тоже пригодится.

Код: Выделить всё

RewriteEngine on

# Закрыть доступ нежелательным ботам
SetEnvIf User-agent ^-?$ bad
SetEnvIfNoCase User-Agent "Snake Bot" bad_bot
SetEnvIfNoCase User-Agent "DLE_Spider" bad_bot
SetEnvIfNoCase User-Agent "cmsworldmap" bad_bot
SetEnvIfNoCase User-Agent "SurveyBot" bad_bot
SetEnvIfNoCase User-Agent "Purebot" bad_bot
SetEnvIfNoCase User-Agent "DotBot" bad_bot
SetEnvIfNoCase User-Agent "Robot" bad_bot
SetEnvIfNoCase User-Agent "Apache-HttpClient" bad_bot
SetEnvIfNoCase User-Agent "gigabot" bad_bot
SetEnvIfNoCase User-Agent "discobot" bad_bot
SetEnvIfNoCase User-Agent "Nutch" bad_bot
SetEnvIfNoCase User-Agent "HuaweiSymantecSpider" bad_bot
SetEnvIfNoCase User-Agent "GarlikCrawler" bad_bot
SetEnvIfNoCase User-Agent "SearchBot" bad_bot
SetEnvIfNoCase User-Agent "Ezooms" bad_bot
SetEnvIfNoCase User-Agent "ichiro" bad_bot
SetEnvIfNoCase User-Agent "VoilaBot" bad_bot
SetEnvIfNoCase User-Agent "Rankur" bad_bot
SetEnvIfNoCase User-Agent "RadioClicker" bad_bot
SetEnvIfNoCase User-Agent "Embedly" bad_bot
SetEnvIfNoCase User-Agent "TweetmemeBot" bad_bot
SetEnvIfNoCase User-Agent "discobot" bad_bot
SetEnvIfNoCase User-Agent "Admin search system: bezonanet@mail.ru" bad_bot
SetEnvIfNoCase User-Agent "AhrefsBot" bad_bot
SetEnvIfNoCase User-Agent "kmbot" bad_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>
Надоедливые боты вроде пока не лезут, но наблюдение веду, если кто просочится, отпишусь здесь.

Кто еще какими способами защищается от нежелательных ботяр?

Добавлено спустя 20 минут 9 секунд:
Из наблюдений: после добавления кода AhrefsBot пропал и уже почти 3 часа его нет, хотя раньше торчал на форуме, как домашний зверёк, DotBot тоже пропал. Наблюдаю дальше...
Shredder
Администратор
Сообщения: 1069
Зарегистрирован: 22.08.13 09:05
Благодарил (а): 132 раза
Поблагодарили: 264 раза
Контактная информация:

О ботах

Сообщение Shredder »

Никак не защищаюсь, хороший VPS всего за 300 р. позволяет не бояться ботов.
Мои моды и расширения для phpBB
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.
Xisp
Сообщения: 196
Зарегистрирован: 05.04.14 18:00
Благодарил (а): 15 раз
Поблагодарили: 30 раз

О ботах

Сообщение Xisp »

Predator писал(а):которые нагружают сервер,
Predator писал(а):через файл htaccess
Противоречие. Чтобы не грузить сервер, нужно избавиться от апача с htaccess.
Shredder писал(а):хороший VPS всего за 300 р
Два чаю.

Добавлено спустя 54 секунды:
Predator писал(а):после добавления кода AhrefsBot пропал и уже почти 3 часа его нет, хотя раньше торчал на форуме, как домашний зверёк, DotBot тоже пропал.
Конечно же они пропадут.
Аватара пользователя
Predator
Сообщения: 109
Зарегистрирован: 06.11.15 13:59
Благодарил (а): 11 раз
Поблагодарили: 7 раз
Контактная информация:

О ботах

Сообщение Predator »

Xisp писал(а):Чтобы не грузить сервер, нужно избавиться от апача с htaccess
Что предлагаешь поставить взамен?
Xisp
Сообщения: 196
Зарегистрирован: 05.04.14 18:00
Благодарил (а): 15 раз
Поблагодарили: 30 раз

О ботах

Сообщение Xisp »

Nginx + php5-fpm, очевидно жи.
Аватара пользователя
Predator
Сообщения: 109
Зарегистрирован: 06.11.15 13:59
Благодарил (а): 11 раз
Поблагодарили: 7 раз
Контактная информация:

О ботах

Сообщение Predator »

Nginx у меня итак стоит и php 5.3.29
Xisp
Сообщения: 196
Зарегистрирован: 05.04.14 18:00
Благодарил (а): 15 раз
Поблагодарили: 30 раз

О ботах

Сообщение Xisp »

Predator писал(а):Nginx у меня итак стоит
И зачем тогда апач?
Predator писал(а): php 5.3.29
Устарел и не поддерживается.
Аватара пользователя
Predator
Сообщения: 109
Зарегистрирован: 06.11.15 13:59
Благодарил (а): 11 раз
Поблагодарили: 7 раз
Контактная информация:

О ботах

Сообщение Predator »

Xisp писал(а):И зачем тогда апач?
Дык вот кто ж знает, знакомый один сборку делал :)
Xisp
Сообщения: 196
Зарегистрирован: 05.04.14 18:00
Благодарил (а): 15 раз
Поблагодарили: 30 раз

О ботах

Сообщение Xisp »

Ну вы знаете теперь, что передать тому знакомому.
Аватара пользователя
Predator
Сообщения: 109
Зарегистрирован: 06.11.15 13:59
Благодарил (а): 11 раз
Поблагодарили: 7 раз
Контактная информация:

О ботах

Сообщение Predator »

Xisp писал(а):Ну вы знаете теперь, что передать тому знакомому.
Это мне еще после него подправили, он вообще тупо взял всё со своего сервака скопипастил на мой, в общем понятно, что там и как после этого работало :?
Ответить