Google Crawler und Robot.txt

[Kannenbär]

Hi,
ich habe ein Problem mit einer Contao 3.3 Seite.
Ich will habe die Sitemap in der Google Search Console eingefügt. Die Sitemap wird auch gefunden, nur bekomme ich Warnungen, dass Urls (alle) in der Sitemap von der Robot.txt blockiert werden.
Ich habe mit dem Google tool Robot.txt tester einige Urls ausprobiert und Google sagt, dass sie Zugelassen sind.
Ich weiß, dass das vermutlich nicht direkt Contao betrifft, aber ich bräuchte Ideen wo das Problem liegt. Mit meinen Contao 4 Seiten habe ich das Problem logischerweise nicht, da es dort keine Robot.txt gibt ( da keine gebraucht wird).
Ich sehe leider nicht an welchem Teil der Robot.txt (wenn es das Problem ist) es hängt, voir allem da der Google Tester sagt dass die URLS wo die Warnungen kommen "zugelassen" sind.
Die Sitemap liegt unter /share/

User-agent: *
Disallow: /check/
Disallow: /contao/
Disallow: /system/
Disallow: /templates/
Disallow: /vendor/
Disallow: /share/index.php
Disallow: /build.xml
Disallow: /composer.json
Disallow: /composer.lock
Disallow: /README.md

User-agent: Googlebot

Disallow: /contao/
Disallow: /system/
Disallow: /templates/
Disallow: /vendor/
Disallow: /files/
Disallow: /build.xml
Disallow: /composer.json
Disallow: /composer.lock
Disallow: /README.md

Sitemap: https://kirchenkreis.org/share/sitemap.xml

Grüße
Bärchi

[folkfreund]

Hallo Kannenbär,
zunächst willkommen hier im Forum!

Ich kenne mich leider mit den Google-Tools nicht aus. Aber vielleicht ist das ja einfach ein Missverständnis. "Zugelassen" könnte ja auch einfach bedeuten "aufrufbar". Die robots.txt verbietet/verhindert ja nicht den Aufruf der Seiten, sondern definiert Regeln für Bots, an die sie sich halten sollten.

Vielleicht kann ja einer der Kollegen hier mehr dazu sagen.

Du weißt bestimmt, dass du über ein Update nachdenken solltest

[tab]

Vielleicht hängt es auch damit zusammen, dass dem Googlebot verboten wird, die Datein unterhalb von /files, also auch Bilder, zu verarbeiten.

[harrisjaved]

Hi,
ich habe ein Problem mit einer Contao 3.3 Seite.
Ich will habe die Sitemap in der Google Search Console eingefügt. Die Sitemap wird auch gefunden, nur bekomme ich Warnungen, dass Urls (alle) in der Sitemap von der Robot.txt blockiert werden.
Ich habe mit dem Google tool Robot.txt tester einige Urls ausprobiert und Google sagt, dass sie Zugelassen sind.
Ich weiß, dass das vermutlich nicht direkt Contao betrifft, aber ich bräuchte Ideen wo das Problem liegt. Mit meinen Contao 4 Seiten habe ich das Problem logischerweise nicht, da es dort keine Robot.txt gibt ( da keine gebraucht wird).
Ich sehe leider nicht an welchem Teil der Robot.txt (wenn es das Problem ist) es hängt, voir allem da der Google Tester sagt dass die URLS wo die Warnungen kommen "zugelassen" sind.
Die Sitemap liegt unter /share/

User-agent: *
Disallow: /check/
Disallow: /contao/
Disallow: /system/
Disallow: /templates/
Disallow: /vendor/
Disallow: /share/index.php
Disallow: /build.xml
Disallow: /composer.json
Disallow: /composer.lock
Disallow: /README.md

User-agent: Googlebot

Disallow: /contao/
Disallow: /system/
Disallow: /templates/
Disallow: /vendor/
Disallow: /files/
Disallow: /build.xml
Disallow: /composer.json
Disallow: /composer.lock
Disallow: /README.md

Sitemap: https://kirchenkreis.org/share/sitemap.xml

Grüße
Bärchi

Hallo Kannenbär, Sie haben den Zugriff für den Googlebot und alle anderen Roboter für den Ordner mit dem Namen contao gesperrt
Nicht zulassen: / contao /

Aus diesem Grund erhalten Sie Warnungen, dass URLs (alle) in der Sitemap durch die Robot.txt blockiert werden.

Sie können diesen Code einfach verwenden:
User-agent: *
Disallow: / check /
Disallow: / system /
Disallow: / templates /
Disallow: / vendor /
Disallow: /share/index.php
Disallow: /build.xml
Disallow: /composer.json
Disallow: /composer.lock
Disallow: /README.md

Sitemap: https://yoursitename.org/share/sitemap.xml

um die gleiche Funktionalität zu erhalten ohne zu blockieren / contao /

[Spooky]

Es macht keinen Sinn

Disallow: /contao/

zu entfernen, denn alles was sich darin befindet soll auch tatsächlich nicht von Suchmaschinen indiziert werden.