Danke für ein interessantes Contao Camp am 03. & 04. November 2018 & Contao College am 02. November 2018 im Basislager Leipzig, Deutschland
Ergebnis 1 bis 5 von 5

Thema: Google Crawler und Robot.txt

  1. #1
    Contao-Nutzer
    Registriert seit
    28.11.2018.
    Beiträge
    9

    Standard Google Crawler und Robot.txt

    Hi,
    ich habe ein Problem mit einer Contao 3.3 Seite.
    Ich will habe die Sitemap in der Google Search Console eingefügt. Die Sitemap wird auch gefunden, nur bekomme ich Warnungen, dass Urls (alle) in der Sitemap von der Robot.txt blockiert werden.
    Ich habe mit dem Google tool Robot.txt tester einige Urls ausprobiert und Google sagt, dass sie Zugelassen sind.
    Ich weiß, dass das vermutlich nicht direkt Contao betrifft, aber ich bräuchte Ideen wo das Problem liegt. Mit meinen Contao 4 Seiten habe ich das Problem logischerweise nicht, da es dort keine Robot.txt gibt ( da keine gebraucht wird).
    Ich sehe leider nicht an welchem Teil der Robot.txt (wenn es das Problem ist) es hängt, voir allem da der Google Tester sagt dass die URLS wo die Warnungen kommen "zugelassen" sind.
    Die Sitemap liegt unter /share/

    Code:
    User-agent: *
    Disallow: /check/
    Disallow: /contao/
    Disallow: /system/
    Disallow: /templates/
    Disallow: /vendor/
    Disallow: /share/index.php
    Disallow: /build.xml
    Disallow: /composer.json
    Disallow: /composer.lock
    Disallow: /README.md
    
    User-agent: Googlebot
    
    Disallow: /contao/
    Disallow: /system/
    Disallow: /templates/
    Disallow: /vendor/
    Disallow: /files/
    Disallow: /build.xml
    Disallow: /composer.json
    Disallow: /composer.lock
    Disallow: /README.md
    
    Sitemap: https://kirchenkreis.org/share/sitemap.xml
    Grüße
    Bärchi

  2. #2
    Contao-Urgestein Avatar von folkfreund
    Registriert seit
    09.04.2010.
    Ort
    Dortmund
    Beiträge
    1.568

    Standard

    Hallo Kannenbär,
    zunächst willkommen hier im Forum!

    Ich kenne mich leider mit den Google-Tools nicht aus. Aber vielleicht ist das ja einfach ein Missverständnis. "Zugelassen" könnte ja auch einfach bedeuten "aufrufbar". Die robots.txt verbietet/verhindert ja nicht den Aufruf der Seiten, sondern definiert Regeln für Bots, an die sie sich halten sollten.

    Vielleicht kann ja einer der Kollegen hier mehr dazu sagen.

    Du weißt bestimmt, dass du über ein Update nachdenken solltest
    www.folkfreun.de - Treffpunkt für Folkmusiker, Folktänzer, Veranstalter und alle Freunde von trad. Folkmusik

  3. #3
    Contao-Urgestein
    Registriert seit
    22.10.2013.
    Beiträge
    7.451
    User beschenken
    Wunschliste

    Standard

    Vielleicht hängt es auch damit zusammen, dass dem Googlebot verboten wird, die Datein unterhalb von /files, also auch Bilder, zu verarbeiten.

  4. #4
    Contao-Nutzer
    Registriert seit
    03.01.2018.
    Beiträge
    1

    Standard Google Crawler und Robot.txt

    Zitat Zitat von Kannenbär Beitrag anzeigen
    Hi,
    ich habe ein Problem mit einer Contao 3.3 Seite.
    Ich will habe die Sitemap in der Google Search Console eingefügt. Die Sitemap wird auch gefunden, nur bekomme ich Warnungen, dass Urls (alle) in der Sitemap von der Robot.txt blockiert werden.
    Ich habe mit dem Google tool Robot.txt tester einige Urls ausprobiert und Google sagt, dass sie Zugelassen sind.
    Ich weiß, dass das vermutlich nicht direkt Contao betrifft, aber ich bräuchte Ideen wo das Problem liegt. Mit meinen Contao 4 Seiten habe ich das Problem logischerweise nicht, da es dort keine Robot.txt gibt ( da keine gebraucht wird).
    Ich sehe leider nicht an welchem Teil der Robot.txt (wenn es das Problem ist) es hängt, voir allem da der Google Tester sagt dass die URLS wo die Warnungen kommen "zugelassen" sind.
    Die Sitemap liegt unter /share/

    Code:
    User-agent: *
    Disallow: /check/
    Disallow: /contao/
    Disallow: /system/
    Disallow: /templates/
    Disallow: /vendor/
    Disallow: /share/index.php
    Disallow: /build.xml
    Disallow: /composer.json
    Disallow: /composer.lock
    Disallow: /README.md
    
    User-agent: Googlebot
    
    Disallow: /contao/
    Disallow: /system/
    Disallow: /templates/
    Disallow: /vendor/
    Disallow: /files/
    Disallow: /build.xml
    Disallow: /composer.json
    Disallow: /composer.lock
    Disallow: /README.md
    
    Sitemap: https://kirchenkreis.org/share/sitemap.xml
    Grüße
    Bärchi


    Hallo Kannenbär, Sie haben den Zugriff für den Googlebot und alle anderen Roboter für den Ordner mit dem Namen contao gesperrt
    Nicht zulassen: / contao /

    Aus diesem Grund erhalten Sie Warnungen, dass URLs (alle) in der Sitemap durch die Robot.txt blockiert werden.

    Sie können diesen Code einfach verwenden:
    User-agent: *
    Disallow: / check /
    Disallow: / system /
    Disallow: / templates /
    Disallow: / vendor /
    Disallow: /share/index.php
    Disallow: /build.xml
    Disallow: /composer.json
    Disallow: /composer.lock
    Disallow: /README.md

    Sitemap: https://yoursitename.org/share/sitemap.xml

    um die gleiche Funktionalität zu erhalten ohne zu blockieren / contao /

  5. #5
    Community-Moderator
    Wandelndes Contao-Lexikon
    Avatar von Spooky
    Registriert seit
    12.04.2012.
    Ort
    Vienna, Austria
    Beiträge
    18.146
    User beschenken
    Wunschliste

    Standard

    Es macht keinen Sinn
    Code:
    Disallow: /contao/
    zu entfernen, denn alles was sich darin befindet soll auch tatsächlich nicht von Suchmaschinen indiziert werden.

Aktive Benutzer

Aktive Benutzer

Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)

Lesezeichen

Lesezeichen

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •