System-Log Einträge alles rot

[Jonas-]

Ist das normal, dass so viele rote Einträge aufgezeichnet werden? ist das bei euch auch so?
Ich beobachte das schon eine Weile und frage mich, ob dadurch in irgendeiner Weise die Seite zu schaden kommt?

No active page for page ID "...", host "..." and languages ""...
The request for page ID "..." contained unused GET parameters...

Bildschirmfoto 2015-12-01 um 12.32.27.png

Bildschirmfoto 2015-12-01 um 12.32.54.png

[the_scrat]

Hallo Jonas,

nein, normal ist das nicht. Wie auf der Detailansicht deines Screenshots zu erkennen, sieht man den Browser "Java" und auch die IP von der das ganze ausgeht. In Google findet sich zu dieser IP einige Foreneinträge bei denen empfohlen wird diese IP zu sperren. Anscheinend handelt es sich dabei um einen Bot, der unterschiedliche Wörter in der URL durchtestet, in deinem Fall die ID "menschen".

Am besten die IP über die .htaccess aussperren.

[Jonas-]

Danke für deine Infos!

Es ist leider jeden Tag eine andere IP Adresse aber immer mit den gleichen Versuchen, unterschiedliche Wörter (die aber auf der Seite vorhanden sind) an Links dranzuhängen.

Auch der Browser ist nicht nur Java:
Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.13) Gecko/20080311 Firefox/2.0.0.13

Ich kann ja nicht jede IP einzeln sperren..

[the_scrat]

Das ist schon klar, das wäre auch nur eine Übergangslösung.

Es gibt eigentlich nur 3 Möglichkeiten:

1. Lassen und nicht drauf achten
2. IP einzeln aussperren
3. Dafür sorgen, dass die Fehlermeldung ganricht geloggt werden, gilt aber dann auch für echte Fehler.
(4.) Eine Erweiterung schreiben die ähnlich einer Blocklist für Spam solche IPs für Webserver aussperrt, tägliche Updates, damit könnte man sicher die Rate solcher Fehlermeldungen extrem nach unten drücken.

[Jonas-]

Ok.

Bisher hatte es keine merkbaren Auswirkungen auf die Seite. Es ist allerdings sehr mühsam den System-Log anzuschauen. Aber dann lass ich es wohl erstmal so.

Dank dir!

[the_scrat]

Sicherlich nervig, habe das ab und zu auch in Intervallen. Beobachte es einfach, vielleicht ist es morgen/übermorgen schon wieder normal. Ansonsten kannst du dich immernoch um eine Lösung kümmern.
Und solange es eben keine Auswirkung auf die Seite hat, passt es ja :-)

PS: Superschöne Seite, gefällt mir echt gut!

[Jonas-]

ich werd es mal weiterhin beobachten..

Danke für das Kompliment! Ist ein eigenes Projekt an dem ich immer wieder arbeiten kann. Leider fehlt einem oft die Zeit für sowas ;-)

Bis dann! Gruß Jonas

[Grossvater]

Für die Nachwelt:
Ich habe mir das einmal mit dieser htaccess Anweisung gesperrt:

<IfModule mod_setenvif.c>
   # SEO
   SetEnvIfNoCase User-Agent (AiHitBot|BLEXBot|Cliqzbot|DotBot|linkdexbot|MJ12bot|SEOkicks-Robot|SearchmetricsBot|SISTRIX) keep_out
   # Backlinks & Links
   SetEnvIfNoCase User-Agent (AhrefsBot|BacklinkCrawler|dlcbot|spbot) keep_out
   # Performance Testing
   SetEnvIfNoCase User-Agent (200PleaseBot|ApacheBench|LoadTimeBot) keep_out
   # Harvester & Marketing
   SetEnvIfNoCase User-Agent (CareerBot|GrapeshotCrawler|iCjobs|magpie-crawler|proximic|QuerySeekerSpider|Vagabondo|WBSearchBot) keep_out
   # Useless, Bad & Unknown
   SetEnvIfNoCase User-Agent (Ezooms|^Java|libwww-perl|niki-bot|updown_tester) keep_out
   # Empty User-Agent
   SetEnvIfNoCase User-Agent ^$ keep_out
   <limit GET POST PUT>
      Order Allow,Deny
      Allow from all
      Deny from env=keep_out
   </limit>
</IfModule>

[Jonas-]

Interessant. Müsste ich dabei noch was anpassen oder kann ich den Teil einfach in meine .htaccess packen?

Ich könnte es mal versuchen und dann weiterhin beobachten.

[BugBuster]

Kleiner Hinweis, diejenigen die Apache 2.4 zu laufen haben ohne das mod_compat/mod_access_compat Modul, müssen die Order/Deny Einträge anpassen.

[Grossvater]

@jonas-
ich habe diesen Teil einfach nach

FileETag None
<IfModule mod_headers.c>
  Header unset ETag
</IfModule>

in der htaccess eingefügt.

[kdf]

Hallo Großvater,

vor etwa 2 Monaten habe ich zu contao gewechselt und damit ist wohl der Ordner "html" in der Adresse entfallen.
Wenn ich die Einträge in der System-Log bei contao richtig interpretiere, führt die Suche danach von Maschinen im Netz zu den roten Fehlermeldungen.
In der Hoffnung, das vielleicht Dein Code auch bei mit hilft, habe ich nun den Teil an die angegebene Stelle in die .htacess übertragen.
Die roten Meldungen sind leider noch da.
Deshalb auch meine Frage, ob im Code irgendwo eine Anpassung erforderlich ist oder er vielleicht in meinem Fall nicht einsetzbar ist?

Vielen Dank im Voraus!

KDF

[Znrl]

Das hat damit aber nichts zu tun.
Bei dir haben sich die URLs geändert.

Alle, die die alten URLs kannten versuchen es jetzt weiter damit.

Wenn es tatsächlich exakt die gleichen URLs sind außer dem /html/ kann man relativ leicht eine Weiterleitung einrichten.
So ähnlich, auf die schnelle und ungetestet:
Unterhalb von

RewriteEngine On
und
RewriteBase /

RewriteRule ^html/(.*)$ http://www.domain.de/$1 [R=301,L]

# oder

RewriteRule ^html/(.*)$ /$1 [R=301,L]
## Unabhängig von www oder ohne www

edit: hab das korigiert, es hat ein leerzeichen gefehlt und noch was ergänzt

[kdf]

Hallo Znrl,

herzlichen Dank! Ich habe gleich die Version für mit und ohne www an der vorgegebenen Stelle eingefügt.
Ich melde mich morgen ob es geklappt hat.

Viele Gruesse

KDF

[kdf]

Hallo Znrl,

wunderbar hat der Filter gewirkt. Das "html" tritt nicht mehr in Erscheinung.

Herzlichen Dank nochmals und beste Gruesse

KDF

[Znrl]

Das ist nicht direkt ein Filter.
Das ist eine Weiterleitung.
Geh auf eine Unterseite und füge manuell ein /html/ ein.
Bspw. domain.de/kontakt.html -> domain.de/html/kontakt.html und rufe die Seite auf.
Dann siehst du, dass das /html/ verschwindet. (Du hättest zum testen also nicht solange warten müssen.)
Alle, die jetzt auf die alten URLs, zugreifen werden also automatisch weitergeleitet und relevant vorallem für google etc bekommen auch mitgeteilt, dass das permanent (301) ist und ab jetzt die neue URL gilt.
Allerdings, wenn du irgendwann mal einen echten Ordner "html" oder eine Seite "html" erstellst muss man das u.U. anpassen, sonst ist das so nicht aufrufbar.

[kdf]

Hallo Znrl,

ich hab´s probiert und es klappt wunderbar auf der derzeitigen Webseite.

Was Du nicht wissen kannst, so hat sich die Adresse auch hinter dem "html" etwas geändert:

alt bei NetObjectsFusion z.Beispiel: http://www.baerbels-naturfoto.de/html/fotos_2015.html
neu bei Contao 3.5. z.Beispiel: http://www.baerbels-naturfoto.de/Monatsfoto2015.html

Ohne dem "html" bei der alten Adresse landet der Sucher aber wenigstens auf der Error 404 -Seite und kann
dann von dort aus weiter gehen.
Bei den google-Webmastertools habe ich auch schon jede Menge alter url´s entfernt, die als Crawling-Fehler auftraten.
Irgendwann muesste der Spuk mal ein Ende haben.

Nochmals herzlichen Dank, auch für die weitergehenden Erläuterungen zu meinem Verständnis, von

KDF

[Znrl]

Wenn es keine gleichgebliebenen (abgesehen vom html teil) URLs gibt bringt das natürlich nicht allzuviel.

Einzelne Seten kannst du auch so weiterleiten:

RewriteRule ^/html/fotos_2015.html$ /Monatsfoto2015.html [R=301,L]

Das macht man dann für besonders wichtige oder häufig aufgerufene Seiten, bei denen es kein Muster bzgl. Umbenennung gibt.
Das dann am besten vor die allgemeine Weiterleitung von oben.

[kdf]

Hallo Znrl,

genau das wollte ich noch machen. Hat aber nicht geklappt, da mir der richtige Code
dafür gefehlt hat. Danke Dir ganz sehr dafür!

Wird gleich umgesetzt!

Vielen, vielen Dank und beste Gruesse

KDF

[Jonas-]

@jonas-
ich habe diesen Teil einfach nach

FileETag None
<IfModule mod_headers.c>
  Header unset ETag
</IfModule>

in der htaccess eingefügt.

Danke nochmal an Grossvater! Der code hat bei mir funktioniert. Habe es zwei Tage beobachtet und es klappt!