Hallo zusammen,
wir haben hier mehrere große Systeme (unterschiedlicher Contao-Versionen) am laufen. Eines haben alle gemeinsam:
Der System-Log (tl_log) wird geflutet mit "No active page for page ID".
Alles verursacht durch irgendwelche Bots (Yahoo! Slurp, Trident, MetaJobBot, Googlebot, ltx71, DotBot, ...).
Mehrmals pro Minute generieren diese durch teils wahllos zusammengereimte URLs tausende von Log-Einträgen, was dazu führt, dass der System-Log von einem recht wichtigen Tool zu einem fast unbrauchbaren Tool wird.
Jeder Aufruf des System-Logs und jede Filter- bzw. Sortieraktion benötigt eine halbe Ewigkeit.
Gibt es eine Möglichkeit (z.B. mit [botdetection] ) die Aufrufe der Bots aus dem Logging auszuschließen?
Mich interessieren nur Falschaufrufe, die von Menschen erzeugt werden, um z.B. Umleitungen etc. zu setzen. Aber das ist eine Tortur diese von den durch Bots generierten Aufrufen auseinanderzuhalten.
Mein Systemlog beinhaltet derzeit ~328000 Einträge bei Aufbewahrungszeit von 3 Monaten. Mindestens 90% davon sind durch Bots entstandene Einträge.
Viele Grüße