[botdetection] Bot Erkennung

[BugBuster]

Neue Bots in Version 1.2.3:

• 123peoplebot
• Internet Archive (archive.org_bot)

Bugfix: false positive : AppleWebKit in CheckBotAgentAdvanced -> (Google Web Preview)

Update empfohlen bei Einsatz vom Modul Visitors, da durch den Fehler öfters AppleWebKit Browser fälschlicherweise als Bot identifiziert wurden.

[ffw]

Hallo,

die Unterschiede zwischen Webalizer und Visitors Statistik sind doch erheblich.

Gestern hatten wir z.B. ca. 90 Besucher im Visitors Modul. Die Webalizer Statistik zeigt 198 Sites (unterschiedliche IP Adressen) und 243 Visits (erneuter Besuch nach 30 Minuten). Als Blockzeit haben wir i.d. Besucherzähler-Definition 6 Stunden konfiguriert.

Heisst das wir haben 100 Besuche von Bots? Wie sind Euere Erfahrungen?


Danke für's Feedback!

[BugBuster]

Immer wieder zum Lesen empfohlen:
Warum uns Google Analytics belügt - und alle anderen auch.

[xchs]

"Traue keiner Statistik, die du nicht selbst gefälscht hast."

[ffw]

vielen Dank für den Link, sehr informativ! Der erhebliche Unterschiede hat mich doch sehr verwundert.

[BugBuster]

Neue Bots in Version 1.3.0

• New Crawler: HTTP_Request2/0.5.1 (PHP)
• New Crawler: Discobot
• New Bot/Crawler: Robots Bot

PHPUnit Testumgebung geschaffen, um neue Versionen zu validieren, der Handtest wurde langsam etwas aufwändig
(nicht mitgeliefert)

[BugBuster]

Neue Bots in Version 1.3.1

• New Crawler: Teragram/SAS Crawler
• Bot/Crawler: Birubot
• New Crawler: iCjobs

sowie kleinere Source Code Umstellungen.

[webfuzzy]

Hi BugBuster,

ich habe gerade Dein Bot Detection Modul schätzen gelernt, da er mir geholfen hat ein kniffliges Zählproblem zu lösen bzw. zumindest die Ergebnisse deutlich zu verbessern. Großes Dankeschön dafür

Vielleicht hilft ein Abgleich mit http://www.useragentstring.com/pages...gentstring.php die Bot-Erkennung weiter zu verbessern.

Nachtrag:
Auch das ist eine interessante Seite zum Thema Bots und Bot-Erkennung:
http://www.barrierefreie-webloesunge...0112_nutch.php

[BugBuster]

Info vorerst für Entwickler die meine Erweiterung nutzen.

Botdetection wurde komplett neu geschrieben. Hauptsächlich weil "mein" Hauptlieferant von Signaturen die Struktur geändert hat.
Aber bei der Gelegenheit habe ich dann gleich alles etwas umgeschrieben.

Meine Erweiterungen werde ich nach und nach dagegen testen und dann ggf. die Abhängigkeit anpassen.
Composer sollte also zur Zeit nicht auf die Idee kommen die neue Version zu installieren.

Wer von Euch Botdetection für eigene Dinge gebraucht hat, z.B. für eigene Erweiterungen sollte sich diese Datei mal ansehen:
botdetection/blob/master/UPGRADE.md
Was darin fehlt sehe ich gerade, Botdetection 4.0 ist nun erst ab Contao 3.5 freigegeben und ab PHP 5.4., besser wäre 5.5 oder höher.

Da stehen alle API Änderungen drin. Derzeit ist die Version 4.0.0 noch abwärtskompatibel, die Version 5.0.0 wird dann die deprecated Methoden nicht mehr unterstützen.
(Die Version 5.0.0 wird die für Contao 4 werden.)


Und bekommt kein Schreck, um das erste Initialisieren abzukürzen, würde sonst über eine Minute dauern, bringt die Erweiterung die Signaturen gleich mit.
Dadurch wird die Erweiterung ca 30MB groß. Durch die runonce wird dann noch ein Cache generiert, das dauert dadurch dann nur ca. 7 Sekunden.

Wie in der alten Version auch sind die beiden Demo Module wieder dabei um die Nutzung für Entwickler zu zeigen.

Ach ja, eine Changelog wird es auch zukünftig geben, ich experimentiere da grad mit Generatoren.
botdetection/blob/master/CHANGELOG.md

[BugBuster]

So, Botdetection ist nun wieder kleiner, die 44 MB Signaturdatei vom externem Lieferanten konnte ich verkleinern auf < 1MB.
Dadurch ist die Generierung des Caches auch <1s.


Außerdem ist es jetzt möglich, über die localconfig.php eigene Referrer zur Erkennung zu definieren wie folgt:

$GLOBALS['BOTDETECTION']['BOT_REFERRER'][] = 'mylocal-bugbuster-bot.ninja/bot.php';
$GLOBALS['BOTDETECTION']['BOT_REFERRER'][] = 'joinandplay.me'; 

falls jemand neue Spam Referrer blocken will die Botdetection noch nicht (er)kennt.
Genutzt wird von den Angaben nur der Domain Anteil.

[BugBuster]

Eine neue Version 4.2.2 von Botdetection ist verfügbar über Composer.

Neu: Es werden nur noch GET und POST Zugriffe gezählt. Es kam durch Referrer-Spam per HEAD Zugriffe (mit gültiger Agent Kennung) zu fehlerhaften Zählungen.

Dazu muss man wissen, dass auch bei HEAD Zugriffen die PHP Engine anläuft, von Apache nach Sendung der HEAD Daten aber abgebrochen wird.
Diese Zeit scheint aber zu reichen das meine Visitor Erweiterung es geschafft hat den Zugriff zu zählen. (vermutlich ist auch die Banner Erweiterung betroffen)


Für das ER2 wird diese Anpassung demnächst nachgezogen.

[BugBuster]

Nun auch für ER2 verfügbar.