Blockierte Ressourcen in den Google Webmaster-Tools bezüglich robots.txt

Druckbare Version

27.04.2015, 09:53
monaco

Blockierte Ressourcen in den Google Webmaster-Tools bezüglich robots.txt

Hallo zusammen,

ich hoffe hier im Forum kann mir jemand weiterhelfen. Meine robots.txt liegt im root-verzeichnis meines Webspaces und sieht folgendermaßen aus:

Code:

User-agent: * Disallow: /check/ Disallow: /contao/ Disallow: /system/ Disallow: /templates/ Disallow: /vendor/ Disallow: /share/index.php Disallow: /build.xml Disallow: /composer.json Disallow: /composer.lock Disallow: /README.md

In den den Google Webmaster-Tools werden mir aber folgenden blockierte Ressourcen ausgegeben:

Code:

http://www.meinedomain.de/system/cron/cron.txt http://www.meinedomain.de/system/modules/sharebuttons/assets/base.css http://www.meinedomain.de/system/modules/sharebuttons/assets/light/light.css http://www.meinedomain.de/system/modules/sharebuttons/assets/light/sprites-32.png

Laut der robots.txt soll ja dem Pfad /system nicht gefolgt werden.
Kann mir da jemand einen Tipp geben, wie ich dies beheben kann?
27.04.2015, 09:56
Spooky

Warum willst du das beheben? Den Suchmaschinen interessiert ja eh nichts, was unter /system liegt.
27.04.2015, 10:53
tab

Google Pagespeed interessiert das natürlich schon, das sind Ressourcen, die eben für die zu analysierende Seite heruntergeladen werden müssen. Das Analysetool ist ja nicht der Google-Bot. Und wenn das Tool feststellen will, wie schnell die Seite geladen wird, dann werden selbstverständlich alle dazu benötigten Ressourcen berücksichtigt.

Edit: Es geht ja um die Webmaster-Tools und um "blockierte" Ressourcen und nicht um "blockierende Ressourcen". Sorry
27.04.2015, 10:56
Kahmoon

Ich habe hierfür /system/modules und /assets/ auf allow gesetzt. Dann passt alles.

VG
27.04.2015, 11:02
Spooky

Wie gesagt, wozu? Unter /system befindet sich kein relevanter Inhalt für die Suchmaschine, der indexiert werden müsse. Es sei denn eine Extension legt dort aus irgendeinem Grund Website-spezifische Inhalte ab.
27.04.2015, 11:13
BugBuster

Mit der nächsten Contao Version 3.5.0 gibt es ein Update der robots.txt, dort wurde angefügt:

Code:

Allow: /system/cron/cron.txt Allow: /system/modules/*/assets/
27.04.2015, 11:25
monaco

vielen dank euch allen für die Tipps ;-)
02.01.2016, 14:29
Atzenbert

Hallo zusammen,

erstmal danke für die ganzen Tipps oben und euch allen ein frohes neues Jahr! Ich habe nur leider immer noch ein Problem mit der "/system/cron/cron.txt". Ich habe die robots.txt angepasst, hochgeladen und die neue Version an Google gesendet. Allerdings wird mir in den Webmaster-Tools trotz der Änderung schon seit Wochen die "/system/cron/cron.txt" als blockierte Ressource angezeigt. Seit neuestem ist auch die "/system/cron/cron.php" mit von der Partie. Auch der Test "Abruf wie durch Google" funktioniert bei beiden Ressourcen problemlos.

Kann mir hier irgendjemand vielleicht weiterhelfen oder weiß, an was das liegen könnte?

Danke euch schon mal im Voraus für eure Hilfe!
03.01.2016, 12:15
Spooky

Diese Ressourcen können ruhig blockiert bleiben.
12.04.2017, 15:04
my-om

Zitat:

Zitat von Spooky

Diese Ressourcen können ruhig blockiert bleiben.

Bei diesem Thema stimme ich nicht ganz zu. Zwar ist es richtig, solange die Indexierung durchgeführt werden kann, dürfte es nicht relevant sein.

Aber die Gerüchteküche sagt, jeder Warning im Search geht in die Bewertung einer Seite von Google ein und damit in das Ranking.

Ich wäre da sehr vorsichtig mit der Aussage oben. Wenn Google was nicht passt und er sich die Mühe macht darauf hinzuweisen, damit die Ressourcen seiner Suchmaschine geschont werden und die Leute
ignorieren das, darf sich nicht beschweren, wenn es Auswirkungen beim Ranking gibt. Manchmal minimal, manchmal mehr -- das sich auch über die Zeit stark verändern kann.

Ich habe jetzt die cron.php für die Suchmaschine freigegeben. Was spricht dagegen? Ergebnisse lässt noch auf sich warten.

Gruß kh
12.04.2017, 15:14
Spooky

Zitat:

Zitat von my-om

Aber die Gerüchteküche sagt, jeder Warning im Search geht in die Bewertung einer Seite von Google ein und damit in das Ranking.

Nicht jede Warnung ist dafür relevant. Wenn, wie in diesem Fall, Google auf eine Resource nicht zugreifen kann/darf, dann weist dich Google darauf hin. Denn Google indiziert ja dann von dort keine Inhalte und das willst du ja unter Umständen nicht.

Dass Google von der cron.php oder cron.txt keine Inhalte indizieren braucht, muss man aber wohl nicht näher erklären ;).
12.04.2017, 18:48
my-om

Zitat:

Zitat von Spooky

Nicht jede Warnung ist dafür relevant. Wenn, wie in diesem Fall, Google auf eine Resource nicht zugreifen kann/darf, dann weist dich Google darauf hin. Denn Google indiziert ja dann von dort keine Inhalte und das willst du ja unter Umständen nicht.

Dass Google von der cron.php oder cron.txt keine Inhalte indizieren braucht, muss man aber wohl nicht näher erklären ;).

Ich kann nichts über den Inhalt der Cron.php sagen, aber Google würde bestimmt nicht einfach so auf etwas zugreifen, was es gar nicht braucht,
dafür sind seine Ressourcen zu wertvoll und vor allem das wird dann über alle Websites so gehen.

Aber vielleicht es zu verstehen was die cron.php macht? Kannst du da was sagen?
12.04.2017, 19:04
Spooky
Zitat:

Zitat von my-om

Ich kann nichts über den Inhalt der Cron.php sagen

Rufe sie einfach auf und sie dir die Ausgabe an ;)

Zitat:

Zitat von my-om

aber Google würde bestimmt nicht einfach so auf etwas zugreifen, was es gar nicht braucht,

Ob Google, oder welche Suchmaschine auch immer, eine URL "braucht" oder nicht, weiß sie nur durch bestimmte Dinge:
- Entweder ist durch die robots.txt definiert, ob darauf zugegriffen werden soll, oder nicht (aber das willst du ja deaktivieren),
- oder es wurde eine Sitemap zu Google submitted, wo dedizierte URLs zum indizieren aufgelistet sind,
- und ansonsten kann eine Suchmaschine erst wissen, ob der Inhalt hinter einer URL relevant ist, wenn die Suchmaschine darauf zugreift.
Zitat:

Zitat von my-om

Aber vielleicht es zu verstehen was die cron.php macht? Kannst du da was sagen?

Wie der Name schon sagt werden dadurch die Cronjobs von Contao angestoßen. Und zwar entweder automatisch über das Frontend durch einen AJAX Request, wenn jemand deine Seite besucht - oder du hast selbst einen Cronjob eingerichtet, der dieses Script aufruft (dafür gibt es in den System Einstellungen ja die Option Command Scheduler deaktivieren).
17.10.2017, 08:04
comanche

Ich möchte gerne auch nochmal explizit nachfragen: kann man die cron.php unbedenklich über die robots.txt freigeben?

Zitat:

Zitat von Spooky

Wie der Name schon sagt werden dadurch die Cronjobs von Contao angestoßen. Und zwar entweder ....
17.10.2017, 08:40
Spooky

Es spielt keine Rolle, ob du sie freigibst oder nicht. Daher ja: es ist unbedenklich.
17.10.2017, 09:32
comanche

Zitat:

Zitat von Spooky

Es spielt keine Rolle, ob du sie freigibst oder nicht. Daher ja: es ist unbedenklich.

Danke, Spooky!
24.10.2017, 00:09
bassman

blockierte Webseiten laut Google Webmaster-Tools

Hallo,

kann mir jemand sagen, warum einige meiner Webseiten als blockiert gemeldet werden?
Die robots.txt hat Contao-Standardinhalt.
Wenn ich die lt. Google blockierten Seiten mit dem robots.txt-Tester teste, bekomme ich als Ergebnis "zugelassen".
Das ist für mich widersprüchlich.
Wie bekomme ich die betroffenen Webseiten wieder frei, oder sind diese garnicht blockiert?

Wenn mir jemand helfen könnte würde mich das sehr freuen.
24.10.2017, 09:25
mlweb

Zitat:

Zitat von bassman

Die robots.txt hat Contao-Standardinhalt.

Das ist bei einer Datei, die sich über die Jahre/Versionen hinweg verändert hat eine unpräzise Aussage. Welchen Inhalt hat sie denn tatsächlich und was genau wird als blockiert gemeldet?
24.10.2017, 11:23
Spooky

Zitat:

Zitat von bassman

kann mir jemand sagen, warum einige meiner Webseiten als blockiert gemeldet werden?

Was genau meinst du damit?