Contao-Camp 2024
Ergebnis 1 bis 20 von 20

Thema: [Gelöst] Contao 4.9 Keine robots.txt

  1. #1
    Contao-Fan Avatar von Fulano
    Registriert seit
    14.09.2010.
    Beiträge
    455
    Partner-ID
    7000

    Standard [Gelöst] Contao 4.9 Keine robots.txt

    Hallo,

    ich habe eine Contao 4.9 Installation, leider ohne eine robots.txt. Die robots.txt sollte doch bei Contao 4.9 automatisch vorhanden sein, oder nicht?
    Hat jemand eine Ahnung woran es liegen kann, dass keine robots.txt vorhanden ist?

    Grüße
    Geändert von Fulano (26.02.2020 um 16:57 Uhr) Grund: Gelöst

  2. #2
    Community-Moderator & Contao-Urgestein Avatar von derRenner
    Registriert seit
    23.10.2012.
    Ort
    hoRn|waldviertel
    Beiträge
    2.849
    Contao-Projekt unterstützen

    Support Contao

    Standard

    Layout - Seitenstruktur - Website-Einstellungen
    Grüsse
    Bernhard


  3. #3
    Contao-Fan Avatar von Fulano
    Registriert seit
    14.09.2010.
    Beiträge
    455
    Partner-ID
    7000

    Standard

    wo ich die robots.txt ergänzen kann ist schon klar. Das Problem ist das es gar keine robots.txt in meinem System gibt.

    Daher war die Frage ob jemand eine Ahnung hat woran es liegen kann, dass die Datei nicht angelegt wurde.
    Geändert von Fulano (24.02.2020 um 08:59 Uhr)

  4. #4
    Community-Moderator
    Wandelndes Contao-Lexikon
    Avatar von Spooky
    Registriert seit
    12.04.2012.
    Ort
    Scotland
    Beiträge
    33.901
    Partner-ID
    10107

    Standard

    Ich denke du hast den Post von derRenner nicht richtig gelesen. Es gibt keine Default robots.txt Datei mehr. Den Inhalt der ausgelieferten robots.txt kannst du nun pro Website Root in der Seitenstruktur festlegen.

  5. #5
    Contao-Fan Avatar von Fulano
    Registriert seit
    14.09.2010.
    Beiträge
    455
    Partner-ID
    7000

    Standard

    Die Daten in Website-Einstellungen wurden ja geändert. Es wurden Anweisungen hinzugefügt um die Indexierung der Seiten zu verhindern.

  6. #6
    Community-Moderator
    Wandelndes Contao-Lexikon
    Avatar von Spooky
    Registriert seit
    12.04.2012.
    Ort
    Scotland
    Beiträge
    33.901
    Partner-ID
    10107

    Standard

    Deine ursprüngliche Frage wurde ja nun beantwortet. Was genau ist nun deine neue Frage?

  7. #7
    Contao-Fan Avatar von Fulano
    Registriert seit
    14.09.2010.
    Beiträge
    455
    Partner-ID
    7000

    Standard

    Warum wird keine robots.txt erstellt, obwohl unter Layout/Seitenstruktur individuelle robots.txt-Anweisungen eingetragen wurden?

  8. #8
    Community-Moderator
    Wandelndes Contao-Lexikon
    Avatar von Spooky
    Registriert seit
    12.04.2012.
    Ort
    Scotland
    Beiträge
    33.901
    Partner-ID
    10107

    Standard

    robots.txt ist nun eine Route. Damit ist es nun möglich die robots.txt pro Domain direkt im Backend festzulegen (favicon übrigens auch).

  9. #9
    Contao-Fan Avatar von Fulano
    Registriert seit
    14.09.2010.
    Beiträge
    455
    Partner-ID
    7000

    Standard

    Zitat Zitat von Spooky Beitrag anzeigen
    robots.txt ist nun eine Route. Damit ist es nun möglich die robots.txt pro Domain direkt im Backend festzulegen (favicon übrigens auch).
    Okay, wenn ich nun Daten für die robots.txt eintrage, dann müsste ich doch über domain.de/robots.txt die Datei aufrufen können. Das führt bei mir aber zu einem 404.

  10. #10
    Community-Moderator
    Wandelndes Contao-Lexikon
    Avatar von Spooky
    Registriert seit
    12.04.2012.
    Ort
    Scotland
    Beiträge
    33.901
    Partner-ID
    10107

    Standard

    Sollte so sein, ja - vorausgesetzt alle Anfragen, die auf keine echte Datei führen, werden von deiner Server Konfiguration über die index.php prozessiert.

  11. #11
    Administrator Avatar von xchs
    Registriert seit
    19.06.2009.
    Beiträge
    14.548
    User beschenken
    Wunschliste
    Contao-Projekt unterstützen

    Support Contao

    Standard

    Zitat Zitat von Fulano Beitrag anzeigen
    wenn ich nun Daten für die robots.txt eintrage
    Was genau hast Du hier eingetragen? Contao führt hier eine Prüfung der Eingabe durch.
    Contao Community Administrator

    [Unterstützungsmöglichkeiten]

  12. #12
    Contao-Fan Avatar von Fulano
    Registriert seit
    14.09.2010.
    Beiträge
    455
    Partner-ID
    7000

    Standard

    Das wurde eingetragen
    Code:
    User-agent: *
    Disallow: /
    Ich kann mir nicht vorstellen das diese Zeilen von Contao ignoriert werden.


    Ich glaube der Hinweis von Spooky müsste mal verfolgt werden:
    robots.txt ist nun eine Route.
    Das ganze läuft auf nginx, und momentan ist die verwendete Direktive die gleich die für Contao 4.8 eingesetzt wird.

  13. #13
    Contao-Fan
    Registriert seit
    05.11.2009.
    Ort
    Liebschützberg (Sachsen)
    Beiträge
    526

    Standard

    @Fulano

    gibt es unter /web noch eine echte robots.txt?
    Wenn die gelöscht ist, sollte es gehen!

    Steffen Winde

  14. #14
    Contao-Fan Avatar von Fulano
    Registriert seit
    14.09.2010.
    Beiträge
    455
    Partner-ID
    7000

    Standard

    Nein, unter /web gibt es keine robots.txt

  15. #15
    Contao-Fan
    Registriert seit
    05.11.2009.
    Ort
    Liebschützberg (Sachsen)
    Beiträge
    526

    Standard

    Vielleicht bringt Dich ja unter Systemwartung Daten bereinigen oder den Cache löschen zum Erfolg!

  16. #16
    Contao-Urgestein
    Registriert seit
    29.10.2009.
    Ort
    Magdeburg
    Beiträge
    2.020
    Partner-ID
    626
    User beschenken
    Wunschliste

    Standard

    Vermutlich muss die nginx Direktive angepasst werden, sodass die robots.txt von der index.php behandelt wird

  17. #17
    Contao-Fan Avatar von Fulano
    Registriert seit
    14.09.2010.
    Beiträge
    455
    Partner-ID
    7000

    Standard

    Es lag tatsächlich an der nginx Direktive.

  18. #18
    Contao-Yoda Avatar von MacKP
    Registriert seit
    15.06.2009.
    Ort
    Duisburg
    Beiträge
    13.292
    User beschenken
    Wunschliste
    Contao-Projekt unterstützen

    Support Contao

    Standard

    Zitat Zitat von Fulano Beitrag anzeigen
    Es lag tatsächlich an der nginx Direktive.
    Und wie lautet die? Falls noch andere das selbe Problem haben ;-)

    Viele Grüße
    Contao Pool | C-C-A | MetaModels | [Internetseite -> Mediendepot Ruhr]
    [Arbeitet bei -> Paus Design & Medien]
    "I can EXPLAIN it to you, but I can't UNDERSTAND it for you."

  19. #19
    Contao-Fan Avatar von Fulano
    Registriert seit
    14.09.2010.
    Beiträge
    455
    Partner-ID
    7000

    Standard

    Momentan sieht die bei mir so aus:

    Code:
    location = /robots.txt { ##delete##}
    
    
    location /{FOLDER} {
        client_max_body_size 100M;
        root {DOCROOT}/{FOLDER}web;
    
    
        index index.php;
        try_files $uri $uri/ /{FOLDER}index.php$is_args$args;
        
        location ~ ^/{FOLDER}(index|preview|contao-manager\.phar)\.php(/|$) {
            include /etc/nginx/fastcgi_params;
            {FASTCGIPASS}
            fastcgi_split_path_info ^(.+\.php)(/.*)$;
            fastcgi_param  SCRIPT_FILENAME $document_root$fastcgi_script_name;
            fastcgi_intercept_errors on;
            
            fastcgi_temp_file_write_size 10m;
            fastcgi_busy_buffers_size    512k;
            fastcgi_buffer_size          512k;
            fastcgi_buffers           16 512k;
            fastcgi_read_timeout 1200;
            fastcgi_param HTTP_AUTHORIZATION $http_authorization;
            <tmpl_if name='php' op='==' value='hhvm'>error_page 500 501 502 503 = @phpfallback{FOLDERMD5};</tmpl_if>
            
        }
    
    
        location ~ \.(jpe?g|png|gif|ico|webp|css|js|svg|woff2?|ttf|otf|eot)$ {
            expires 1M;
            try_files $uri $uri/ /{FOLDER}index.php$is_args$args;
        }
    }
    
    
    <tmpl_if name='php' op='==' value='hhvm'>
    location @phpfallback{FOLDERMD5} {
        client_max_body_size 100M;
        root {DOCROOT}/{FOLDER}web;
        include /etc/nginx/fastcgi_params;
        {PHPFALLBACKFASTCGIPASS}
        fastcgi_split_path_info ^(.+\.php)(/.*)$;
        fastcgi_param  SCRIPT_FILENAME $document_root$fastcgi_script_name;
        fastcgi_intercept_errors on;
            
        fastcgi_temp_file_write_size 10m;
        fastcgi_busy_buffers_size    512k;
        fastcgi_buffer_size          512k;
        fastcgi_buffers           16 512k;
        fastcgi_read_timeout 1200;
        fastcgi_param HTTP_AUTHORIZATION $http_authorization;
        
    }
    </tmpl_if>

  20. #20
    Community-Moderator
    Wandelndes Contao-Lexikon
    Avatar von Spooky
    Registriert seit
    12.04.2012.
    Ort
    Scotland
    Beiträge
    33.901
    Partner-ID
    10107

    Standard

    Du musst nicht unbedingt
    Code:
    location = /robots.txt {
        …
    }
    komplett löschen. Wichtig ist nur, dass auch ein Request auf die robots.txt, trotz dieser Direktive, von der index.php behandelt wird, falls die Datei nicht vorhanden ist. Also zB:
    Code:
    location = /robots.txt {
        …
        try_files $uri /index.php$is_args$args;
    }
    Üblicherweise hat man eine spezielle Direktive für die robots.txt deshalb, weil man zB das Logging dafür komplett abschalten möchte:
    Code:
    location = /robots.txt {
        allow all;
        log_not_found off;
        access_log off;
        try_files $uri /index.php$is_args$args;
    }

Aktive Benutzer

Aktive Benutzer

Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)

Lesezeichen

Lesezeichen

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •