Viele Error404-Zugriffe in der Visitors-Statistik sichtbar

Druckbare Version

30.04.2018, 13:53
Schmidty

Liste der Anhänge anzeigen (Anzahl: 2)

Viele Error404-Zugriffe in der Visitors-Statistik sichtbar

Hallo,
ich habe die aktuellste Version von Visitors unter Contao 4.4.18 bei zwei Installationen im Einsatz.
Mir ist aufgefallen, dass die Error404-Seite sehr oft gezählt wird, obwohl die Seiten problemlos laufen. Bei einer Seite sind die Error404-Zugriffe höher als die Zugriffe auf Startseite (Alias = index), Details in beiliegenden Screenshots.
Auf Nachfrage bei Personen die die Seiten besucht haben, haben diese angegeben, dass beide Homeapges problemlos funktionieren, es wurde nie die Error404-Seite angezeigt.

Beide Installationen haben zwei Gemeinsamkeiten: Die Homepages sind All-Inkl gehostet (Business, zwei verschiedene Verträge) und beide verwenden ein Rocksolid-Theme (einmal OpenSauce und einmal Oneo).

Was ist hier das Problem?

@BugBuster: Einen Backend- und FTP-Zugang zu einer Installation kann ich bei Bedarf einrichten, bei der zweiten Installation muss ich zuerst nachfragen. Wäre das Hilfreich?

Viele Grüße
Schmidty

Anhang 20829
Anhang 20830
30.04.2018, 14:00
Stefko

Ahoi,
kannst Du mit Deinem Statistik-Tool erkennen, welcher Aufruf zu dem 404 führte?
Ich hatte so ähnliche Zahlen mal bei ner Contao-Installation, da wurde durch irgendein Bot hundertfach versucht die wp-admin.php aufzurufen ;)
30.04.2018, 14:02
tab

Schau mal ins Backend in das System-Log, da sollte deine 404er auch auftauchen, vermutlich irgendwelche Crawler, die einfach mal munter raten, welche Seiten es noch so alles geben könnte. Oder auch schlicht und ergreifend Angriffsversuche. Ich habe da z.B. relativ häufig irgendwelche Wordpress-Backendlogin-Seiten (.../wp_login ) und ähnliches drin. Da vermutet also jemand eine Wordpress-Website und versucht sich ins Backend einzuloggen.
30.04.2018, 15:38
Spooky

Zitat:

Zitat von tab

Schau mal ins Backend in das System-Log, da sollte deine 404er auch auftauchen

In Contao 4 nicht mehr ;).
30.04.2018, 16:28
Schmidty

Kann ich die 404er Aufrufe bei Contao 4.4.x dann noch irgendwo sehen?
30.04.2018, 16:34
BugBuster

Hast du Zugriff auf die access Log vom Webserver? Da kannst du sehen welche Zugriffe mit 404 beantwortet wurden.
30.04.2018, 17:25
tab

Zitat:

Zitat von Spooky

In Contao 4 nicht mehr ;).

Stimmt leider auch wieder, dann wie Bugbuster geschrieben hat ...
12.05.2018, 14:07
Schmidty

Hallo,
jetzt habe ich das Ganze Dank Eurer Tipps etwas eingrenzen können.

Bei beiden Seiten sucht ein Crawler immer wieder nach der Datei "apple-touch-icon-152x152-precomposed.png" - aber die Datei gibt es nicht. Ich habe mit diesem Favicon-Generator die Favicons erstellt und eingebunden, da gibt es nur eine "apple-icon-precomposed.png". Mit diesem Favicon-Generator arbeite ich schon lange, bisher hatte ich keine Probleme damit.
Es ist ahrefs. Ich habe gemäß den Angaben von ahrefs eine robots.txt erstellt und AhrefsBot ausgeschlossen - jetzt ist alles OK.
Warum ahrefs so hartnäckig nach der Datei "apple-touch-icon-152x152-precomposed.png" sucht konnte ich nicht herausbekommen.

@BugBuster: Da ja Contao den Auslöser der 404-Seite nicht mehr anzeigt, wärte es schön, wenn Visitors den Auslöser des 404er Errors anzeigen könnte. Kann diese Funktion in Visitors implementiert werden?
12.05.2018, 15:04
BugBuster

Ich habe es mal notiert. Muss ich mal schauen ob ich da rankomme und wie ich das am besten speichere.
Weiß nicht ob der originale Referrer noch greifbar ist, wenn Contao 4 auf die Error Seite umlenkt.
28.05.2018, 18:50
BugBuster

Was hast du in der htaccess stehen, das nicht gefundene png Dateien zu Contao umgelenkt werden?
28.05.2018, 19:00
BugBuster

Ah merke grad das macht die htaccess von Contao 4 sogar selbst.
28.05.2018, 19:51
BugBuster

Da ist wirklich irgendwas seltsam.
Bug notiert: https://github.com/BugBuster1701/con...ndle/issues/36
28.05.2018, 23:38
BugBuster

Also beim besten Willen, ich bekomme das nicht nachgestellt.
Meldungen im Backend System System-Logs gibt es nicht in der Art: "contao-botdetection-bundle extension required for extension: Visitors!"?
29.05.2018, 18:38
Schmidty

Bringen Dich ein Backend-Zugang, ein FTP-Zugang und die Server-Logs weiter?
Wenn ja kann ich diese Infos per PN gerne bereitstellen.
29.05.2018, 19:27
BugBuster

ein Versuch ist es Wert.
30.05.2018, 17:21
Schmidty

Hallo,
eine E-Mail mit allen Infos an hostmaster@contao.ninja wurde von meinem Cloud-System verschickt.
Danke.
Viele Grüße
Schmidty
30.05.2018, 22:16
BugBuster
So.
Nun sag mir doch mal wie du auf die Idee kommst, das es AhrefsBot war der die apple-touch Dinger suchte? Und übrigens auch: /favicon.ico
In deinen Logs ist kein einziger Zugriff in der Art zu sehen.
AhrefsBot hat aber massenweise nicht (mehr?) vorhandene Seiten , z.B. ein Fotoalbum, versucht abzurufen.

Sehr wohl gibt es aber noch massenweise Zugriffe von iOS Apps mit unterschiedlichen Namen wie:
- "MobileSafari/604.1 CFNetwork/897.15 Darwin/17.5.0"
- "Safari/13605.1.33.1.4 CFNetwork/897.15 Darwin/17.5.0 (x86_64)"
In dem Falle waren es wohl iPhone / iPad, markant ist das CFNetwork.
"CFNetwork ist eine Programmiermodell, welches die (Apple) Netzwerkprogrammierung vereinfacht und für jeden Entwickler interessant, der Netzwerkverbindungen aufbauen will."
Soso. Nicht mein Gebiet.

Es gibt z.B., nicht alle in deiner Log, auch diese:
- "Nextcloud/00003 CFNetwork/897.15 Darwin/17.5.0"
- "Instacast/2749 CFNetwork/887 Darwin/17.0.0"
- "PodCruncher/3.3.1 CFNetwork/887 Darwin/17.0.0"
- "Castro/516 CFNetwork/887 Darwin/17.0.0"
So nun die Master Frage:
Da ich keine CFNetwork Agent Zeilen gefunden habe die außer die apple-touch/favicon icons noch was anderes abgerufen haben (innerhalb Contao), wäre es dann sinnvoll, alles was CFNetwork im Namen hat als Bot zu bewerten? Wäre ja fast zu gefährlich, könnte ja man was sinnvolles kommen.

Eigentlich war die Zählung ja auch voll korrekt! Es fehlten ja Dinge die man unbedingt einbauen sollte. :-)
Die apple icons machen ja Sinn.
05.06.2018, 22:06
Schmidty

Hallo,

Zitat:

Nun sag mir doch mal wie du auf die Idee kommst, das es AhrefsBot war der die apple-touch Dinger suchte? Und übrigens auch: /favicon.ico
In deinen Logs ist kein einziger Zugriff in der Art zu sehen.
AhrefsBot hat aber massenweise nicht (mehr?) vorhandene Seiten , z.B. ein Fotoalbum, versucht abzurufen.

Ich habe beim Provider nachgefragt und da die Aussage bekommen, dass ahrefs nach apple-touch-icon-152x152-precomposed.png sucht. Daraufhin habe ich ja den Eintrag in der robots.txt gemacht (und mittlerweile wieder entfernt). Danach wurden weniger 404er Seiten angezeigt.

Die Seite und die Domain (Domainregistrierung am 28.01.18) sind im Februar zum ersten Mal veröffentlicht worden - da gab es keine alte Seite mit Fotoalbum usw. die gesucht werden könnte. Warum da ein Fotoalbum bzw. andere Seiten gesucht werden, weiß ich nicht. Die Seite wurde auch unter einer ganz anderen Subdomain entwickelt.

Zitat:

Eigentlich war die Zählung ja auch voll korrekt! Es fehlten ja Dinge die man unbedingt einbauen sollte. :-)
Die apple icons machen ja Sinn.

Anfangs habe ich die Favicons mit dieser Erweiterung bereitgestellt - vielleicht war das das Problem.

Danke für Deine Hilfe

Schmidty