Google Indexierung, Webmaster Tools, Blockierte Resource

[Lengen1971]

Guten Morgen, ich suche Hilfe zu den Google Webmaster Tools. Es finden sich ganz viele blockierte Resourcen in der Anzeige:

Bildschirmfoto 2016-07-11 um 10.43.30.png

Ich hab keine Ahnung, warum das so ist, aber anscheinend stört es die saubere Indexierung der Seite. Hier meine robots:

User-agent: *

Allow: /system/cron/
Allow: /system/modules/
Allow: /system/cron/cron.php

Disallow: /check/
Disallow: /contao/
Disallow: /system/
Disallow: /templates/
Disallow: /vendor/
Disallow: /share/index.php
Disallow: /build.xml
Disallow: /composer.json
Disallow: /composer.lock
Disallow: /README.md
Disallow: /de/praxisbedarf-fuer-fachaerzte.html
Disallow: /de/gynaekologen.html
Disallow: /de/hautaerzte-plastische-chirurgen.html
Disallow: /de/anti-aging-mediziner.html
Disallow: /mirena.html

Allow: /

Hat jemand einen Tipp, warum das nicht funktioniert?

Danke und Vg
Michel

[Andreas]

Hier mal zum Vergleich die robots aus dem Core https://github.com/contao/core/blob/master/robots.txt

Soll das hier "Allow: /" bewirken, dass alles erlaubt wird? Hast du das erst nach deinem Test eingefügt? Nicht alle Crawler interpretieren ein "Allow:". Und wieso erst ein paar Dissalows und am Ende ein Allow auf alle?

Bei der frontend.css kannst du mal nachsehen, ob dort die richtige .htaccess in assets/ liegt.

[Lengen1971]

Hi,

danke für deine Antwort.

Soweit ich weiß (dachte), arbeitet die robots nach dem Prinzip, was zuerst steht, zählt. Deswegen sind erstmal paar Bereiche
blockiert, die nicht gecrawled werden sollen und dann Fall-Back: alles andere erlauben.

Der Eintrag 'Allow: /' ist von Anfang an drin, ich mach den mal raus und baue das original wieder rein, dann berichte ich wieder.

htaccess ist drin:

<IfModule !mod_authz_core.c>
  Order allow,deny
  Allow from all
</IfModule>
<IfModule mod_authz_core.c>
  Require all granted
</IfModule>

VG

[Andreas]

was zuerst steht, zählt. Deswegen sind erstmal paar Bereiche
blockiert, die nicht gecrawled werden sollen und dann Fall-Back: alles andere erlauben.

Da widersprichst du dir. Bei dir sind zuerst ein paar erlaubt. Und wenn das stimmen sollte, von oben nach unten (was ich auch annehme), dann müsste ja das letzte Allow (falls es denn funktioniert) alle Disallows wieder aushebeln.

Die .htaccess ist die richtige.

[Lengen1971]

Ich dachte, sobald eine Zeile zutrifft, wird die Abarbeitung eigentlich beendet. Zumindest kann man das beim Google robots-Tester schön sehen.

Der zeigt an, welche Zeile eine Resource blockiert bzw. zuläßt. Ich hab meine blockierten Resourcen damit getestet und
die waren alle richtig... deswegen hab ich ja hier geschrieben.

VG
Michel

[Spooky]

Die default robots.txt von Contao 3.5.14 sieht eigentlich so aus

User-agent: *
Disallow: /check/
Disallow: /contao/
Disallow: /system/
Disallow: /templates/
Disallow: /vendor/
Disallow: /share/index.php
Disallow: /build.xml
Disallow: /composer.json
Disallow: /composer.lock
Disallow: /README.md
Allow: /system/cron/cron.txt
Allow: /system/modules/*/assets/
Allow: /system/modules/*/html/

https://github.com/contao/core/blob/3.5.14/robots.txt

[Lengen1971]

Hi,

ja, ich hab die schon wieder rein, muss aber warten, bis mir Google wieder ein neues Ergebnis mitteilt. Im Moment steht noch ein altes Datum..

Ich berichte...

VG

[Lengen1971]

Moin,

hat etwas gedauert, aber jetzt hab ich ne neue Ansicht vom 16.07. Leider hat sich nichts geändert, wieder soviele
blockierte Resourcen:

blockierte-resourcen.jpg

Was ist denn da falsch??

VG
Michel

[Spooky]

Nichts, diese Ressourcen sollen ja blockiert sein.

[Lengen1971]

A so?

Versteh isch ned... sind dann nicht die entsprechenden Seiten von der Indexierung ausgeschlossen?

VG

[Spooky]

Das sind ja keine Seiten, sondern nur die cron.txt, cron.php und eine CSS Datei einer Extension.

[Lengen1971]

aber dahinter steht doch: betroffene Seiten: 23

[Spooky]

Ja, auf diesen Seiten hat Google versucht die jeweilige Ressource zu laden, aber es wurde durch die robots.txt unterbunden. Die Seiten selbst sind nicht blockiert.

[Lengen1971]

OK, verstanden.