Hallo,

seit einiger Zeit besucht mich ein crawler mit dem Namen radian6. Laut www.radian6.com/crawler hält sich der crawler an die robots.txt. Weit gefehlt die robots.txt wird ignoriert. Die Angaben das lediglich rss feeds gefetched werden ist ebenfalls falsch da radian6 noch nie meine rss gecrawlet hat dafür aber umso mehr meine einzelnen pages. Bei 30 bis 50 besuchen pro Tag geht mir da zuviel Traffic drauf. Da dieses Problem auch andere zu haben scheinen, habe ich einige Lösungen gefunden um radian per htaccess zu blocken.

Lösung 1

order allow,deny
deny from 142.166.0.0/16
deny from 207.179.0.0/16
allow from all

Hierzu habe ich eine Frage. Was bedeutet die /16 in dieser Lösung?
Da der Crawler von beiden Adressbereichen zu kommen scheint mag es sinnvoll sein den gesamten Bereich zu blockieren. Ich möchte jedoch nicht harmlose User/Besucher von meiner Webseite ausperren.

Lösung 2

RewriteCond %{HTTP_USER_AGENT} ^R6_
RewriteRule .* - [F]

Laut Autor dieser Lösung wird hier wohl der User Agent der mit R6_ startet auf eine error seite geleitet.

Da Radian scheinbar sehr hartnäckig ist, gab es user die beim blocken des UserAgents später besuch von radian6 unter einer anderen Signatur erhalten haben.

Zu welcher Lösung würdet ihr mir in dieser Situation raten. Ich persönlich habe keinen Plan. Und wie oben erwähnt wäre es nett wenn mir jemand erklären könnte was das /16 hinter der IP von Lösung 1 bedeutet.

Für eure Zeit bedanke ich mich schonmal

Gruß

J32