System-Log: "No active page for page ID" durch Bots
Hallo zusammen,
wir haben hier mehrere große Systeme (unterschiedlicher Contao-Versionen) am laufen. Eines haben alle gemeinsam:
Der System-Log (tl_log) wird geflutet mit "No active page for page ID".
Alles verursacht durch irgendwelche Bots (Yahoo! Slurp, Trident, MetaJobBot, Googlebot, ltx71, DotBot, ...).
Mehrmals pro Minute generieren diese durch teils wahllos zusammengereimte URLs tausende von Log-Einträgen, was dazu führt, dass der System-Log von einem recht wichtigen Tool zu einem fast unbrauchbaren Tool wird.
Jeder Aufruf des System-Logs und jede Filter- bzw. Sortieraktion benötigt eine halbe Ewigkeit.
Gibt es eine Möglichkeit (z.B. mit [botdetection] ) die Aufrufe der Bots aus dem Logging auszuschließen?
Mich interessieren nur Falschaufrufe, die von Menschen erzeugt werden, um z.B. Umleitungen etc. zu setzen. Aber das ist eine Tortur diese von den durch Bots generierten Aufrufen auseinanderzuhalten.
Mein Systemlog beinhaltet derzeit ~328000 Einträge bei Aufbewahrungszeit von 3 Monaten. Mindestens 90% davon sind durch Bots entstandene Einträge.
Viele Grüße
No active page for page ID
Hier schreibt nochmal zu diesem Thema eine PHP-Nichtfachfrau. Was kann ich nun tun?
Ich habe seit geraumer Zeit in der System-Log ebenfalls "No active page for page ID ...", die entweder auf geänderte (aus Versehen ein Umlaut gewesen) oder gelöschte Seiten/Arikel, aber auch neuerdings ganz normale aktive Seiten hinweisen, die sich ganz normal aufrufen lassen. Hinzu kommen Event-Seiten, die nicht veröffentlich werden. Zu Beginn hat mich das nicht weiter gestört. Aber jetzt bin ich doch verwirrt und möchte das ändern, da es zu o.g. "Überlauf" führen kann und außerdem nervt es langsam aber sicher!
Wie kann ich dem begegnen?
Freue mich auf Antwort.