Google Crawler und Robot.txt
Hi,
ich habe ein Problem mit einer Contao 3.3 Seite.
Ich will habe die Sitemap in der Google Search Console eingefügt. Die Sitemap wird auch gefunden, nur bekomme ich Warnungen, dass Urls (alle) in der Sitemap von der Robot.txt blockiert werden.
Ich habe mit dem Google tool Robot.txt tester einige Urls ausprobiert und Google sagt, dass sie Zugelassen sind.
Ich weiß, dass das vermutlich nicht direkt Contao betrifft, aber ich bräuchte Ideen wo das Problem liegt. Mit meinen Contao 4 Seiten habe ich das Problem logischerweise nicht, da es dort keine Robot.txt gibt ( da keine gebraucht wird).
Ich sehe leider nicht an welchem Teil der Robot.txt (wenn es das Problem ist) es hängt, voir allem da der Google Tester sagt dass die URLS wo die Warnungen kommen "zugelassen" sind.
Die Sitemap liegt unter /share/
Code:
User-agent: *
Disallow: /check/
Disallow: /contao/
Disallow: /system/
Disallow: /templates/
Disallow: /vendor/
Disallow: /share/index.php
Disallow: /build.xml
Disallow: /composer.json
Disallow: /composer.lock
Disallow: /README.md
User-agent: Googlebot
Disallow: /contao/
Disallow: /system/
Disallow: /templates/
Disallow: /vendor/
Disallow: /files/
Disallow: /build.xml
Disallow: /composer.json
Disallow: /composer.lock
Disallow: /README.md
Sitemap: https://kirchenkreis.org/share/sitemap.xml
Grüße
Bärchi
Google Crawler und Robot.txt
Zitat:
Zitat von
Kannenbär
Hi,
ich habe ein Problem mit einer Contao 3.3 Seite.
Ich will habe die Sitemap in der Google Search Console eingefügt. Die Sitemap wird auch gefunden, nur bekomme ich Warnungen, dass Urls (alle) in der Sitemap von der Robot.txt blockiert werden.
Ich habe mit dem Google tool Robot.txt tester einige Urls ausprobiert und Google sagt, dass sie Zugelassen sind.
Ich weiß, dass das vermutlich nicht direkt Contao betrifft, aber ich bräuchte Ideen wo das Problem liegt. Mit meinen Contao 4 Seiten habe ich das Problem logischerweise nicht, da es dort keine Robot.txt gibt ( da keine gebraucht wird).
Ich sehe leider nicht an welchem Teil der Robot.txt (wenn es das Problem ist) es hängt, voir allem da der Google Tester sagt dass die URLS wo die Warnungen kommen "zugelassen" sind.
Die Sitemap liegt unter /share/
Code:
User-agent: *
Disallow: /check/
Disallow: /contao/
Disallow: /system/
Disallow: /templates/
Disallow: /vendor/
Disallow: /share/index.php
Disallow: /build.xml
Disallow: /composer.json
Disallow: /composer.lock
Disallow: /README.md
User-agent: Googlebot
Disallow: /contao/
Disallow: /system/
Disallow: /templates/
Disallow: /vendor/
Disallow: /files/
Disallow: /build.xml
Disallow: /composer.json
Disallow: /composer.lock
Disallow: /README.md
Sitemap: https://kirchenkreis.org/share/sitemap.xml
Grüße
Bärchi
Hallo Kannenbär, Sie haben den Zugriff für den Googlebot und alle anderen Roboter für den Ordner mit dem Namen contao gesperrt
Nicht zulassen: / contao /
Aus diesem Grund erhalten Sie Warnungen, dass URLs (alle) in der Sitemap durch die Robot.txt blockiert werden.
Sie können diesen Code einfach verwenden:
User-agent: *
Disallow: / check /
Disallow: / system /
Disallow: / templates /
Disallow: / vendor /
Disallow: /share/index.php
Disallow: /build.xml
Disallow: /composer.json
Disallow: /composer.lock
Disallow: /README.md
Sitemap: https://yoursitename.org/share/sitemap.xml
um die gleiche Funktionalität zu erhalten ohne zu blockieren / contao /