Blockierte Ressourcen in den Google Webmaster-Tools bezüglich robots.txt

[monaco]

Hallo zusammen,

ich hoffe hier im Forum kann mir jemand weiterhelfen. Meine robots.txt liegt im root-verzeichnis meines Webspaces und sieht folgendermaßen aus:

User-agent: *
Disallow: /check/
Disallow: /contao/
Disallow: /system/
Disallow: /templates/
Disallow: /vendor/
Disallow: /share/index.php
Disallow: /build.xml
Disallow: /composer.json
Disallow: /composer.lock
Disallow: /README.md

In den den Google Webmaster-Tools werden mir aber folgenden blockierte Ressourcen ausgegeben:

http://www.meinedomain.de/system/cron/cron.txt
http://www.meinedomain.de/system/modules/sharebuttons/assets/base.css
http://www.meinedomain.de/system/modules/sharebuttons/assets/light/light.css
http://www.meinedomain.de/system/modules/sharebuttons/assets/light/sprites-32.png

Laut der robots.txt soll ja dem Pfad /system nicht gefolgt werden.
Kann mir da jemand einen Tipp geben, wie ich dies beheben kann?

[Spooky]

Warum willst du das beheben? Den Suchmaschinen interessiert ja eh nichts, was unter /system liegt.

[tab]

Google Pagespeed interessiert das natürlich schon, das sind Ressourcen, die eben für die zu analysierende Seite heruntergeladen werden müssen. Das Analysetool ist ja nicht der Google-Bot. Und wenn das Tool feststellen will, wie schnell die Seite geladen wird, dann werden selbstverständlich alle dazu benötigten Ressourcen berücksichtigt.

Edit: Es geht ja um die Webmaster-Tools und um "blockierte" Ressourcen und nicht um "blockierende Ressourcen". Sorry

[Kahmoon]

Ich habe hierfür /system/modules und /assets/ auf allow gesetzt. Dann passt alles.

VG

[Spooky]

Wie gesagt, wozu? Unter /system befindet sich kein relevanter Inhalt für die Suchmaschine, der indexiert werden müsse. Es sei denn eine Extension legt dort aus irgendeinem Grund Website-spezifische Inhalte ab.

[BugBuster]

Mit der nächsten Contao Version 3.5.0 gibt es ein Update der robots.txt, dort wurde angefügt:

Allow: /system/cron/cron.txt
Allow: /system/modules/*/assets/

[monaco]

vielen dank euch allen für die Tipps ;-)

[Atzenbert]

Hallo zusammen,

erstmal danke für die ganzen Tipps oben und euch allen ein frohes neues Jahr! Ich habe nur leider immer noch ein Problem mit der "/system/cron/cron.txt". Ich habe die robots.txt angepasst, hochgeladen und die neue Version an Google gesendet. Allerdings wird mir in den Webmaster-Tools trotz der Änderung schon seit Wochen die "/system/cron/cron.txt" als blockierte Ressource angezeigt. Seit neuestem ist auch die "/system/cron/cron.php" mit von der Partie. Auch der Test "Abruf wie durch Google" funktioniert bei beiden Ressourcen problemlos.

Kann mir hier irgendjemand vielleicht weiterhelfen oder weiß, an was das liegen könnte?

Danke euch schon mal im Voraus für eure Hilfe!

[Spooky]

Diese Ressourcen können ruhig blockiert bleiben.

[my-om]

Diese Ressourcen können ruhig blockiert bleiben.

Bei diesem Thema stimme ich nicht ganz zu. Zwar ist es richtig, solange die Indexierung durchgeführt werden kann, dürfte es nicht relevant sein.

Aber die Gerüchteküche sagt, jeder Warning im Search geht in die Bewertung einer Seite von Google ein und damit in das Ranking.

Ich wäre da sehr vorsichtig mit der Aussage oben. Wenn Google was nicht passt und er sich die Mühe macht darauf hinzuweisen, damit die Ressourcen seiner Suchmaschine geschont werden und die Leute
ignorieren das, darf sich nicht beschweren, wenn es Auswirkungen beim Ranking gibt. Manchmal minimal, manchmal mehr -- das sich auch über die Zeit stark verändern kann.

Ich habe jetzt die cron.php für die Suchmaschine freigegeben. Was spricht dagegen? Ergebnisse lässt noch auf sich warten.

Gruß kh

[Spooky]

Aber die Gerüchteküche sagt, jeder Warning im Search geht in die Bewertung einer Seite von Google ein und damit in das Ranking.

Nicht jede Warnung ist dafür relevant. Wenn, wie in diesem Fall, Google auf eine Resource nicht zugreifen kann/darf, dann weist dich Google darauf hin. Denn Google indiziert ja dann von dort keine Inhalte und das willst du ja unter Umständen nicht.

Dass Google von der cron.php oder cron.txt keine Inhalte indizieren braucht, muss man aber wohl nicht näher erklären .

[my-om]

Nicht jede Warnung ist dafür relevant. Wenn, wie in diesem Fall, Google auf eine Resource nicht zugreifen kann/darf, dann weist dich Google darauf hin. Denn Google indiziert ja dann von dort keine Inhalte und das willst du ja unter Umständen nicht.

Dass Google von der cron.php oder cron.txt keine Inhalte indizieren braucht, muss man aber wohl nicht näher erklären .

Ich kann nichts über den Inhalt der Cron.php sagen, aber Google würde bestimmt nicht einfach so auf etwas zugreifen, was es gar nicht braucht,
dafür sind seine Ressourcen zu wertvoll und vor allem das wird dann über alle Websites so gehen.

Aber vielleicht es zu verstehen was die cron.php macht? Kannst du da was sagen?

[Spooky]

Ich kann nichts über den Inhalt der Cron.php sagen

Rufe sie einfach auf und sie dir die Ausgabe an

aber Google würde bestimmt nicht einfach so auf etwas zugreifen, was es gar nicht braucht,

Ob Google, oder welche Suchmaschine auch immer, eine URL "braucht" oder nicht, weiß sie nur durch bestimmte Dinge:

• Entweder ist durch die robots.txt definiert, ob darauf zugegriffen werden soll, oder nicht (aber das willst du ja deaktivieren),
• oder es wurde eine Sitemap zu Google submitted, wo dedizierte URLs zum indizieren aufgelistet sind,
• und ansonsten kann eine Suchmaschine erst wissen, ob der Inhalt hinter einer URL relevant ist, wenn die Suchmaschine darauf zugreift.

Aber vielleicht es zu verstehen was die cron.php macht? Kannst du da was sagen?

Wie der Name schon sagt werden dadurch die Cronjobs von Contao angestoßen. Und zwar entweder automatisch über das Frontend durch einen AJAX Request, wenn jemand deine Seite besucht - oder du hast selbst einen Cronjob eingerichtet, der dieses Script aufruft (dafür gibt es in den System Einstellungen ja die Option Command Scheduler deaktivieren).

[comanche]

Ich möchte gerne auch nochmal explizit nachfragen: kann man die cron.php unbedenklich über die robots.txt freigeben?

Wie der Name schon sagt werden dadurch die Cronjobs von Contao angestoßen. Und zwar entweder ....

[Spooky]

Es spielt keine Rolle, ob du sie freigibst oder nicht. Daher ja: es ist unbedenklich.

[comanche]

Es spielt keine Rolle, ob du sie freigibst oder nicht. Daher ja: es ist unbedenklich.

Danke, Spooky!

[bassman]

Hallo,

kann mir jemand sagen, warum einige meiner Webseiten als blockiert gemeldet werden?
Die robots.txt hat Contao-Standardinhalt.
Wenn ich die lt. Google blockierten Seiten mit dem robots.txt-Tester teste, bekomme ich als Ergebnis "zugelassen".
Das ist für mich widersprüchlich.
Wie bekomme ich die betroffenen Webseiten wieder frei, oder sind diese garnicht blockiert?

Wenn mir jemand helfen könnte würde mich das sehr freuen.

[mlweb]

Die robots.txt hat Contao-Standardinhalt.

Das ist bei einer Datei, die sich über die Jahre/Versionen hinweg verändert hat eine unpräzise Aussage. Welchen Inhalt hat sie denn tatsächlich und was genau wird als blockiert gemeldet?

[Spooky]

kann mir jemand sagen, warum einige meiner Webseiten als blockiert gemeldet werden?

Was genau meinst du damit?