User-Agent "IndyLibrary" - IP Adressbereich sperren
Hallo,
ich bin nicht so bewandert, was htaccess und den Umgang mit bestimmten IP's angeht.
Jedenfalls tummelt sich immer mal wieder der Crawler "IndyLibrary" auf unseren Server rum, dem ja Schlimmes nachgesagt wird. So ignoriert er beispielsweise die robot.txt und sammelt fröhlich Mail-Adressen um dann diese voll zu spammen oder aber auch zu nutzen, um andere Mailadressen mit Spam zu erreichen.(Wenn ich das richtig verstanden habe).
Nun möchte ich den Adressbereich der IP's ausfindig machen, die zu diesem Crawler gehören. Gebe ich bei ripe.net die IP in die whois-Abfrage (84.133.137.185) bekomme ich
netname: DTAG-DIAL19
descr: Deutsche Telekom AG
Wobei die whois-Abfrage der Domain flarp.net, die sich offenbar hinter dem Crawler befindet, auf eine englische Seite hindeutet.
Auf der Seite:
http://eisblock.homeip.net/useragents.php?action=CLO02&Agent_code=TW96aWxsYS8zLjAgKGNvbXBhdGlibGU7IEluZHkgTGlicmFyeSk=
steht ein IP-Bereich für IndyLibrary, aber ein ganz anderer.
Kann mir jemand helfen und sagen, wie und welchen IP-Bereich ich jetzt per htaccess aussperren muss?
Wäre für jede Hilfe sehr dankbar!
Antwort schreiben
Antwort 1 von Supermax vom 09.03.2021, 11:53 Options
Offenbar kommen diese Anfragen von dynamisch zugewiesenen IP-Adressen, die sich jedes Mal ändern können.
In diesem Fall wäre es besser - falls dein Webspace mod_rewrite unterstützt - den User-Agent "IndyLibrary" per mod_rewrite zu sperren, egal woher er kommt.
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} IndyLibrary
RewriteRule .* - [F,L]
Diese Regel überprüft ob der User-Agent-String irgendwo die Zeichenkette "IndyLibrary" enthält, und falls ja, werden alle Zugriffe mit dem Fehlercode 403 ("Forbidden") beantwortet.
Antwort 2 von Frosty vom 09.03.2021, 12:10 Options
Ah, danke. Ein Blick auf die PHP Info sagt mir, dass mod_rewrite aktiviert ist.
Werd' die htaccess anpassen und bin mal gespannt, ob Indy wiederkommt.
Vielen Dank!
Antwort 3 von Supermax vom 09.03.2021, 12:21 Options
Bei der Gelegenheit solltest du User-Agents die mit "Java"-beginnen auch gleich blocken, dahinter stecken meistens ebenfalls Adress-Sammler:
RewriteCond %{HTTP_USER_AGENT} ^Java
RewriteRule .* - [F,L]