Visitors - crawler

[Georgi]

Ich finde unter der Besucherherkunft eine Vielzahl von Seiten, wie
success-seo.com
100dollars-seo.com
videos-for-your-business.com
usw.

Diese erscheine trotz .htacces-Sperre.

Werden die gezählt und verfälschen die tatsächliche Statistik?

Kann man die sperren?

Gruß Georgi

[BugBuster]

Ja die drei werden gezählt. Ich habe in der Erweiterung botdetection, die von Visitors genutzt wird, eine Reihe von Referrer Spam Domains definiert, diese von dir gezeigten sind da nicht dabei.
Werde ich einbauen.

Wie hast du denn versucht die in der .htaccess zu sperren?

[BugBuster]

Falls du noch mehr solche Referrer Spam Domains hast, bitte hier eintragen:
https://github.com/BugBuster1701/bot...ion/issues/120

[Kahmoon]

Hab dort mal meine aktuelle Sammlung für Ghost Referal Spam hinzugefügt

[BugBuster]

Danke, wow, packe ich in die neue Version noch mit rein bevor die stable wird.

[Kahmoon]

Kann sein das ein paar Doppler drin sind. Ich erweitere meine Analyticsfilter jedes mal wenn wieder einer durchkommt.

[Georgi]

@bugbuster:

eingetragen.

Hier meine .htacces

#Block Refferer-Spam
# https://www.mindshape.de/blog/knowhow/so-werden-sie-den-referrer-spam-von-semalt-co-los.html
RewriteEngine on
RewriteCond %{HTTP_REFERER} ^http://.*simple-share-buttons\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*best-seo-offer\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*success-seo\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*buy-cheap-online\.info/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*get-free-traffic-now\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*youporn-forum\.ga/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*adviceforum\.info/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*social-buttons\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*4webmasters\.org/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*humanorightswatch\.org/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*lumb\.co/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*7makemoneyonline\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*o-o-6-o-o\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*buttons-for-website\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*buttons-for-your-website\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*darodar\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*iloveitaly\.co/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*priceg\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*hulfingtonpost\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*econom\.co/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*cenoval\.ru/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*disqus\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*200please\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*muchosol\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*savetubevideo\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*baixar-musicas-gratis\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*prodvigator\.ua/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*kambasoft\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*embedle\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*extener\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*fbfreegifts\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*feedouble\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*musicprojectfoundation\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*myprintscreen\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*openfrost\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*openmediasoft\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*softomix\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*srecorder\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*videofrost\.net/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*joingames\.org/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*videofrost\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*joinandplay\.me/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*backgroundpictures\.net/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*feedouble\.net/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*softomix\.net/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*soundfrost\.org/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*vapmedia\.org/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*youtubedownload\.org/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*zazagames\.org/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*softomix\.ru/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*ilovevitaly\.ru/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*iskalko\.ru/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*myftpupload\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*semalt\.com/ [NC]
RewriteCond %{HTTP_REFERER} ^http://.*rankings-analytics.com [NC,OR]
RewriteRule ^(.*)$ - [F,L] 

23.10.2015: .htaccess aktualisiert.

[Georgi]

Neu bei mir:

http://rankings-analytics.com

In visitors gelistet und wohl auch (noch) gezählt:

buttons-for-website.com

[BugBuster]

In der neuen Botdetection 4.0.x (ab Contao 3.5 + composer) werden die Referrer bereits erkannt und das Zählen geblockt.
Nur ist Visitors noch nicht drauf angepasst.

Kennungen kommen nun von einer extern Bibliothek.
https://github.com/nabble/semalt-blo...ns/blocked#L82
https://github.com/nabble/semalt-blo...s/blocked#L329

Ich bin noch am überlegen ob und wie ich Botdetection 4.x in ER2 bringe, denn das wird kompliziert, da dort zwei fremd libs eingebunden sind über composer.

Vielleicht bringe ich noch eine Vorversion von Visitors raus, in der ich die Kennungen der externen Lib integriere.
Besser ne ältere 3er von Botdetection die aktualisiert wird mit der Liste.

[BugBuster]

Gibt jetzt für die nicht Contao + Composer Installationen eine Version 3.4.1 von Botdetection, darin wurde die Referrer Liste aktualisiert.