О ботах

Если требуется помощь с движком версии 3.1, спросите её здесь.
Ответить
Аватара пользователя
Predator
Сообщения: 109
Зарегистрирован: 06.11.15 13:59

Predator » 14.11.15 18:56

Закрываем посещение сайта/форума нежелательными ботами, которые нагружают сервер, через файл htaccess. Перепробовал всякое, перерыв не мало сайтов рунета и не только, ничего из найденных примеров не помогало.
Методом проб, накатал такое, вроде помогло, надоедливые боты пропали с форума, посему, делюсь с вами, думаю тоже пригодится.

Код: Выделить всё


RewriteEngine on

# Закрыть доступ нежелательным ботам
SetEnvIf User-agent ^-?$ bad
SetEnvIfNoCase User-Agent "Snake Bot" bad_bot
SetEnvIfNoCase User-Agent "DLE_Spider" bad_bot
SetEnvIfNoCase User-Agent "cmsworldmap" bad_bot
SetEnvIfNoCase User-Agent "SurveyBot" bad_bot
SetEnvIfNoCase User-Agent "Purebot" bad_bot
SetEnvIfNoCase User-Agent "DotBot" bad_bot
SetEnvIfNoCase User-Agent "Robot" bad_bot
SetEnvIfNoCase User-Agent "Apache-HttpClient" bad_bot
SetEnvIfNoCase User-Agent "gigabot" bad_bot
SetEnvIfNoCase User-Agent "discobot" bad_bot
SetEnvIfNoCase User-Agent "Nutch" bad_bot
SetEnvIfNoCase User-Agent "HuaweiSymantecSpider" bad_bot
SetEnvIfNoCase User-Agent "GarlikCrawler" bad_bot
SetEnvIfNoCase User-Agent "SearchBot" bad_bot
SetEnvIfNoCase User-Agent "Ezooms" bad_bot
SetEnvIfNoCase User-Agent "ichiro" bad_bot
SetEnvIfNoCase User-Agent "VoilaBot" bad_bot
SetEnvIfNoCase User-Agent "Rankur" bad_bot
SetEnvIfNoCase User-Agent "RadioClicker" bad_bot
SetEnvIfNoCase User-Agent "Embedly" bad_bot
SetEnvIfNoCase User-Agent "TweetmemeBot" bad_bot
SetEnvIfNoCase User-Agent "discobot" bad_bot
SetEnvIfNoCase User-Agent "Admin search system: bezonanet@mail.ru" bad_bot
SetEnvIfNoCase User-Agent "AhrefsBot" bad_bot
SetEnvIfNoCase User-Agent "kmbot" bad_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>

Надоедливые боты вроде пока не лезут, но наблюдение веду, если кто просочится, отпишусь здесь.

Кто еще какими способами защищается от нежелательных ботяр?

Добавлено спустя 20 минут 9 секунд:
Из наблюдений: после добавления кода AhrefsBot пропал и уже почти 3 часа его нет, хотя раньше торчал на форуме, как домашний зверёк, DotBot тоже пропал. Наблюдаю дальше...

Shredder
Администратор
Сообщения: 1064
Зарегистрирован: 22.08.13 09:05

Shredder » 14.11.15 19:30

Никак не защищаюсь, хороший VPS всего за 300 р. позволяет не бояться ботов.
Мои моды и расширения для phpBB
Выполняю работы по phpBB3 на заказ. Пишите в личку или на почту.
Бесплатная поддержка - только в темах.

Xisp
Сообщения: 196
Зарегистрирован: 05.04.14 18:00

Xisp » 14.11.15 21:02

Predator писал(а):которые нагружают сервер,

Predator писал(а):через файл htaccess

Противоречие. Чтобы не грузить сервер, нужно избавиться от апача с htaccess.
Shredder писал(а):хороший VPS всего за 300 р

Два чаю.

Добавлено спустя 54 секунды:
Predator писал(а):после добавления кода AhrefsBot пропал и уже почти 3 часа его нет, хотя раньше торчал на форуме, как домашний зверёк, DotBot тоже пропал.

Конечно же они пропадут.

Аватара пользователя
Predator
Сообщения: 109
Зарегистрирован: 06.11.15 13:59

Predator » 16.11.15 10:13

Xisp писал(а):Чтобы не грузить сервер, нужно избавиться от апача с htaccess

Что предлагаешь поставить взамен?

Xisp
Сообщения: 196
Зарегистрирован: 05.04.14 18:00

Xisp » 16.11.15 19:16

Nginx + php5-fpm, очевидно жи.

Аватара пользователя
Predator
Сообщения: 109
Зарегистрирован: 06.11.15 13:59

Predator » 17.11.15 08:53

Nginx у меня итак стоит и php 5.3.29

Xisp
Сообщения: 196
Зарегистрирован: 05.04.14 18:00

Xisp » 17.11.15 15:02

Predator писал(а):Nginx у меня итак стоит

И зачем тогда апач?
Predator писал(а): php 5.3.29

Устарел и не поддерживается.

Аватара пользователя
Predator
Сообщения: 109
Зарегистрирован: 06.11.15 13:59

Predator » 17.11.15 15:25

Xisp писал(а):И зачем тогда апач?

Дык вот кто ж знает, знакомый один сборку делал :)

Xisp
Сообщения: 196
Зарегистрирован: 05.04.14 18:00

Xisp » 17.11.15 15:30

Ну вы знаете теперь, что передать тому знакомому.

Аватара пользователя
Predator
Сообщения: 109
Зарегистрирован: 06.11.15 13:59

Predator » 17.11.15 18:07

Xisp писал(а):Ну вы знаете теперь, что передать тому знакомому.

Это мне еще после него подправили, он вообще тупо взял всё со своего сервака скопипастил на мой, в общем понятно, что там и как после этого работало :?

Ответить