Hallo,
ich habe eine Contao 4.9 Installation, leider ohne eine robots.txt. Die robots.txt sollte doch bei Contao 4.9 automatisch vorhanden sein, oder nicht?
Hat jemand eine Ahnung woran es liegen kann, dass keine robots.txt vorhanden ist?
Grüße
Hallo,
ich habe eine Contao 4.9 Installation, leider ohne eine robots.txt. Die robots.txt sollte doch bei Contao 4.9 automatisch vorhanden sein, oder nicht?
Hat jemand eine Ahnung woran es liegen kann, dass keine robots.txt vorhanden ist?
Grüße
Geändert von Fulano (26.02.2020 um 15:57 Uhr) Grund: Gelöst
Layout - Seitenstruktur - Website-Einstellungen
Grüsse
Bernhard
wo ich die robots.txt ergänzen kann ist schon klar. Das Problem ist das es gar keine robots.txt in meinem System gibt.
Daher war die Frage ob jemand eine Ahnung hat woran es liegen kann, dass die Datei nicht angelegt wurde.
Geändert von Fulano (24.02.2020 um 07:59 Uhr)
Ich denke du hast den Post von derRenner nicht richtig gelesen. Es gibt keine Default robots.txt Datei mehr. Den Inhalt der ausgelieferten robots.txt kannst du nun pro Website Root in der Seitenstruktur festlegen.
Die Daten in Website-Einstellungen wurden ja geändert. Es wurden Anweisungen hinzugefügt um die Indexierung der Seiten zu verhindern.
Deine ursprüngliche Frage wurde ja nun beantwortet. Was genau ist nun deine neue Frage?
Warum wird keine robots.txt erstellt, obwohl unter Layout/Seitenstruktur individuelle robots.txt-Anweisungen eingetragen wurden?
robots.txt ist nun eine Route. Damit ist es nun möglich die robots.txt pro Domain direkt im Backend festzulegen (favicon übrigens auch).
Sollte so sein, ja - vorausgesetzt alle Anfragen, die auf keine echte Datei führen, werden von deiner Server Konfiguration über die index.php prozessiert.
Das wurde eingetragen
Ich kann mir nicht vorstellen das diese Zeilen von Contao ignoriert werden.Code:User-agent: * Disallow: /
Ich glaube der Hinweis von Spooky müsste mal verfolgt werden:
Das ganze läuft auf nginx, und momentan ist die verwendete Direktive die gleich die für Contao 4.8 eingesetzt wird.robots.txt ist nun eine Route.
@Fulano
gibt es unter /web noch eine echte robots.txt?
Wenn die gelöscht ist, sollte es gehen!
Steffen Winde
Nein, unter /web gibt es keine robots.txt
Vielleicht bringt Dich ja unter Systemwartung Daten bereinigen oder den Cache löschen zum Erfolg!
Vermutlich muss die nginx Direktive angepasst werden, sodass die robots.txt von der index.php behandelt wird
Es lag tatsächlich an der nginx Direktive.
Contao Pool | C-C-A | MetaModels | [Internetseite -> Mediendepot Ruhr]
[Arbeitet bei -> Paus Design & Medien]
"I can EXPLAIN it to you, but I can't UNDERSTAND it for you."
Momentan sieht die bei mir so aus:
Code:location = /robots.txt { ##delete##} location /{FOLDER} { client_max_body_size 100M; root {DOCROOT}/{FOLDER}web; index index.php; try_files $uri $uri/ /{FOLDER}index.php$is_args$args; location ~ ^/{FOLDER}(index|preview|contao-manager\.phar)\.php(/|$) { include /etc/nginx/fastcgi_params; {FASTCGIPASS} fastcgi_split_path_info ^(.+\.php)(/.*)$; fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name; fastcgi_intercept_errors on; fastcgi_temp_file_write_size 10m; fastcgi_busy_buffers_size 512k; fastcgi_buffer_size 512k; fastcgi_buffers 16 512k; fastcgi_read_timeout 1200; fastcgi_param HTTP_AUTHORIZATION $http_authorization; <tmpl_if name='php' op='==' value='hhvm'>error_page 500 501 502 503 = @phpfallback{FOLDERMD5};</tmpl_if> } location ~ \.(jpe?g|png|gif|ico|webp|css|js|svg|woff2?|ttf|otf|eot)$ { expires 1M; try_files $uri $uri/ /{FOLDER}index.php$is_args$args; } } <tmpl_if name='php' op='==' value='hhvm'> location @phpfallback{FOLDERMD5} { client_max_body_size 100M; root {DOCROOT}/{FOLDER}web; include /etc/nginx/fastcgi_params; {PHPFALLBACKFASTCGIPASS} fastcgi_split_path_info ^(.+\.php)(/.*)$; fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name; fastcgi_intercept_errors on; fastcgi_temp_file_write_size 10m; fastcgi_busy_buffers_size 512k; fastcgi_buffer_size 512k; fastcgi_buffers 16 512k; fastcgi_read_timeout 1200; fastcgi_param HTTP_AUTHORIZATION $http_authorization; } </tmpl_if>
Du musst nicht unbedingtkomplett löschen. Wichtig ist nur, dass auch ein Request auf die robots.txt, trotz dieser Direktive, von der index.php behandelt wird, falls die Datei nicht vorhanden ist. Also zB:Code:location = /robots.txt { … }Üblicherweise hat man eine spezielle Direktive für die robots.txt deshalb, weil man zB das Logging dafür komplett abschalten möchte:Code:location = /robots.txt { … try_files $uri /index.php$is_args$args; }Code:location = /robots.txt { allow all; log_not_found off; access_log off; try_files $uri /index.php$is_args$args; }
Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)
Lesezeichen