Contao-Camp 2024
Ergebnis 1 bis 7 von 7

Thema: Individuelle robots.txt-Anweisungen

  1. #1
    Community-Moderator & Contao-Urgestein Avatar von derRenner
    Registriert seit
    23.10.2012.
    Ort
    hoRn|waldviertel
    Beiträge
    2.849
    Contao-Projekt unterstützen

    Support Contao

    Standard Individuelle robots.txt-Anweisungen

    Verständnisfrage bzw. Hilfestellung

    Contao 4.9.21

    Diese Einstellungen sind leer ... bei Aufruf der robots.txt wird wohl automatisch dies eingetragen:
    Code:
    user-agent:*
    disallow:/contao/
    Nun habe ich Folgendes eingetragen:
    Code:
    sitemap:https://meinedomain.tld/share/sitemap.xml
    Damit meckert, warum auch immer, Lighthouse, dass meine robots.txt invalide sei. OK, nun hab ich's wieder rausgelöscht. Doch beim Aufruf der robots.txt verbleibt der Eintrag.

    Code:
    user-agent:*
    disallow:/contao/
    
    sitemap:https://meinedomain.tld/share/sitemap.xml
    - ist der sitemap-Eintrag (auch) ein Standardeintrag?
    - ist die robots.txt tatsächlich mit Einträgen "voreingestellt"?
    - falls der sitemap-Eintrag kein Standardeintrag ist, wie bekomme ich den wieder raus?
    - was könnte an der aktuellen robots.txt nicht valide sein?
    Grüsse
    Bernhard


  2. #2
    Wandelndes Contao-Lexikon Avatar von tab
    Registriert seit
    22.10.2013.
    Beiträge
    10.060
    Contao-Projekt unterstützen

    Support Contao

    Standard

    Ich habe da selbst gerade mal bei einer Kundenseite rumgespielt und ein Problem festgestellt, das allerdings wohl von mir verursacht war. Da war noch eine "echte" robots.txt vorhanden, in der nur das drinstand:
    Code:
    user-agent:*
    disallow:
    Wie die Datei mit dem Inhalt erstellt worden ist kann ich nicht mehr nachvollziehen. Von mir so jedenfalls nicht, also wohl automatisch zu irgendeinem Zeitpunkt in 2019. Ursprünglich war da der sitemap-Eintrag drin und noch einiges mehr. Ich habe die Datei also jetzt gelöscht, weil sie sonst automatisch ausgegeben wird, da sie ja existiert. Somit kam die von Contao dynamisch erzeugte robots.txt niemals zur Anwendung. Jetzt wo sie gelöscht ist, taucht dann der Eintrag mit der Sitemap auf, wenn man die dynamisch erzeugte robots.txt aufruft.

    Sieht eigentlich aus wie deine auch. Allerdings habe ich die Sitemap nicht manuell ergänzt sondern einfach ein paar Einstellungen weiter unten war seit eh und je "eine XML-Sitemap erstellen" aktiviert und der gewünschte Name eingegeben. Dadurch wird das wohl in der robots.txt automatisch ergänzt, dein manueller Eintrag mag dann eventuell Probleme verursachen. In der Google Search Console habe ich die Sitemap dann einfach nochmal eingereicht und Google hat sie wohl gefressen so wie es aussieht, jedenfalls eingelesen zum ersten Mal nach 2019 und 3 Seiten mehr als zuvor angezeigt. Kann also wohl nicht völlig invalide sein. Ich werde das beobachten und bei anderen Kundenwebsites in den nächsten Tagen auch kontrollieren müssen.

  3. #3
    Community-Moderator
    Wandelndes Contao-Lexikon
    Avatar von Spooky
    Registriert seit
    12.04.2012.
    Ort
    Scotland
    Beiträge
    33.898
    Partner-ID
    10107

    Standard

    Zitat Zitat von derRenner Beitrag anzeigen
    , nun hab ich's wieder rausgelöscht. Doch beim Aufruf der robots.txt verbleibt der Eintrag.
    Lösche mal den Seiten- und Browser Cache.
    » sponsor me via GitHub or PayPal or Revolut

  4. #4
    Community-Moderator & Contao-Urgestein Avatar von derRenner
    Registriert seit
    23.10.2012.
    Ort
    hoRn|waldviertel
    Beiträge
    2.849
    Contao-Projekt unterstützen

    Support Contao

    Standard

    Zitat Zitat von Spooky Beitrag anzeigen
    Lösche mal den Seiten- und Browser Cache.
    hatte/habe ich getan
    hatte auch auf anderer workstation und jeweils andere browser getestet - überall das gleiche Ergebnis.

    Wie @tab schreibt: in meiner Seitenstruktur ist XML-Sitemap erstellen angehakt und 'sitemap' eingetragen. Wird dadurch der Eintrag automatisch erstellt?
    Grüsse
    Bernhard


  5. #5
    Wandelndes Contao-Lexikon Avatar von tab
    Registriert seit
    22.10.2013.
    Beiträge
    10.060
    Contao-Projekt unterstützen

    Support Contao

    Standard

    Bei mir wurde der Eintrag automatisch erzeugt. Aber nochmal zur Sicherheit: Es darf keine robots.txt im document root existieren! Nur dann wird die robots.txt dynamisch erzeugt und enthält dann auch den Sitemap-Eintrag, wenn die Einstellung zur Erzeugung einer XML-Sitemap wie bei dir und auch bei mir aktiv ist. Ich glaube ich habe noch in der Systemwartung die Datei (Sitemap und weitere Dateien) neu schreiben lassen, weiss aber nicht ob das entscheidend war.

  6. #6
    Community-Moderator & Contao-Urgestein Avatar von derRenner
    Registriert seit
    23.10.2012.
    Ort
    hoRn|waldviertel
    Beiträge
    2.849
    Contao-Projekt unterstützen

    Support Contao

    Standard

    Zitat Zitat von tab Beitrag anzeigen
    Aber nochmal zur Sicherheit: Es darf keine robots.txt im document root existieren!
    nein, eigene robots.txt exsistiert nicht
    Grüsse
    Bernhard


  7. #7
    Community-Moderator
    Wandelndes Contao-Lexikon
    Avatar von Spooky
    Registriert seit
    12.04.2012.
    Ort
    Scotland
    Beiträge
    33.898
    Partner-ID
    10107

    Standard

    Zitat Zitat von derRenner Beitrag anzeigen
    - ist der sitemap-Eintrag (auch) ein Standardeintrag?
    Wenn du die Sitemap in Contao 4.9 aktiviert hast, ja. In Contao 4.12+ existiert die Sitemap (und damit auch dieser Eintrag) immer.



    Zitat Zitat von derRenner Beitrag anzeigen
    - ist die robots.txt tatsächlich mit Einträgen "voreingestellt"?
    Yep



    Zitat Zitat von derRenner Beitrag anzeigen
    - was könnte an der aktuellen robots.txt nicht valide sein?
    Poste einen Link zur Seite.
    » sponsor me via GitHub or PayPal or Revolut

Aktive Benutzer

Aktive Benutzer

Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)

Lesezeichen

Lesezeichen

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •