Hallo,
ich habe eine Contao 4.9 Installation, leider ohne eine robots.txt. Die robots.txt sollte doch bei Contao 4.9 automatisch vorhanden sein, oder nicht?
Hat jemand eine Ahnung woran es liegen kann, dass keine robots.txt vorhanden ist?
Grüße
Druckbare Version
Hallo,
ich habe eine Contao 4.9 Installation, leider ohne eine robots.txt. Die robots.txt sollte doch bei Contao 4.9 automatisch vorhanden sein, oder nicht?
Hat jemand eine Ahnung woran es liegen kann, dass keine robots.txt vorhanden ist?
Grüße
Layout - Seitenstruktur - Website-Einstellungen
wo ich die robots.txt ergänzen kann ist schon klar. Das Problem ist das es gar keine robots.txt in meinem System gibt.
Daher war die Frage ob jemand eine Ahnung hat woran es liegen kann, dass die Datei nicht angelegt wurde.
Ich denke du hast den Post von derRenner nicht richtig gelesen. Es gibt keine Default robots.txt Datei mehr. Den Inhalt der ausgelieferten robots.txt kannst du nun pro Website Root in der Seitenstruktur festlegen.
Die Daten in Website-Einstellungen wurden ja geändert. Es wurden Anweisungen hinzugefügt um die Indexierung der Seiten zu verhindern.
Deine ursprüngliche Frage wurde ja nun beantwortet. Was genau ist nun deine neue Frage?
Warum wird keine robots.txt erstellt, obwohl unter Layout/Seitenstruktur individuelle robots.txt-Anweisungen eingetragen wurden?
robots.txt ist nun eine Route. Damit ist es nun möglich die robots.txt pro Domain direkt im Backend festzulegen (favicon übrigens auch).
Okay, wenn ich nun Daten für die robots.txt eintrage, dann müsste ich doch über domain.de/robots.txt die Datei aufrufen können. Das führt bei mir aber zu einem 404.Zitat:
Zitat von Spooky
Sollte so sein, ja - vorausgesetzt alle Anfragen, die auf keine echte Datei führen, werden von deiner Server Konfiguration über die index.php prozessiert.
Was genau hast Du hier eingetragen? Contao führt hier eine Prüfung der Eingabe durch.Zitat:
Zitat von Fulano
Das wurde eingetragen
Ich kann mir nicht vorstellen das diese Zeilen von Contao ignoriert werden.Code:User-agent: *
Disallow: /
Ich glaube der Hinweis von Spooky müsste mal verfolgt werden:
Das ganze läuft auf nginx, und momentan ist die verwendete Direktive die gleich die für Contao 4.8 eingesetzt wird.Zitat:
robots.txt ist nun eine Route.
@Fulano
gibt es unter /web noch eine echte robots.txt?
Wenn die gelöscht ist, sollte es gehen!
Steffen Winde
Nein, unter /web gibt es keine robots.txt
Vielleicht bringt Dich ja unter Systemwartung Daten bereinigen oder den Cache löschen zum Erfolg!
Vermutlich muss die nginx Direktive angepasst werden, sodass die robots.txt von der index.php behandelt wird
Es lag tatsächlich an der nginx Direktive.
Und wie lautet die? Falls noch andere das selbe Problem haben ;-)Zitat:
Zitat von Fulano
Viele Grüße
Momentan sieht die bei mir so aus:
Code:location = /robots.txt { ##delete##}
location /{FOLDER} {
client_max_body_size 100M;
root {DOCROOT}/{FOLDER}web;
index index.php;
try_files $uri $uri/ /{FOLDER}index.php$is_args$args;
location ~ ^/{FOLDER}(index|preview|contao-manager\.phar)\.php(/|$) {
include /etc/nginx/fastcgi_params;
{FASTCGIPASS}
fastcgi_split_path_info ^(.+\.php)(/.*)$;
fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
fastcgi_intercept_errors on;
fastcgi_temp_file_write_size 10m;
fastcgi_busy_buffers_size 512k;
fastcgi_buffer_size 512k;
fastcgi_buffers 16 512k;
fastcgi_read_timeout 1200;
fastcgi_param HTTP_AUTHORIZATION $http_authorization;
<tmpl_if name='php' op='==' value='hhvm'>error_page 500 501 502 503 = @phpfallback{FOLDERMD5};</tmpl_if>
}
location ~ \.(jpe?g|png|gif|ico|webp|css|js|svg|woff2?|ttf|otf|eot)$ {
expires 1M;
try_files $uri $uri/ /{FOLDER}index.php$is_args$args;
}
}
<tmpl_if name='php' op='==' value='hhvm'>
location @phpfallback{FOLDERMD5} {
client_max_body_size 100M;
root {DOCROOT}/{FOLDER}web;
include /etc/nginx/fastcgi_params;
{PHPFALLBACKFASTCGIPASS}
fastcgi_split_path_info ^(.+\.php)(/.*)$;
fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
fastcgi_intercept_errors on;
fastcgi_temp_file_write_size 10m;
fastcgi_busy_buffers_size 512k;
fastcgi_buffer_size 512k;
fastcgi_buffers 16 512k;
fastcgi_read_timeout 1200;
fastcgi_param HTTP_AUTHORIZATION $http_authorization;
}
</tmpl_if>
Du musst nicht unbedingtkomplett löschen. Wichtig ist nur, dass auch ein Request auf die robots.txt, trotz dieser Direktive, von der index.php behandelt wird, falls die Datei nicht vorhanden ist. Also zB:Code:location = /robots.txt {
…
}
Üblicherweise hat man eine spezielle Direktive für die robots.txt deshalb, weil man zB das Logging dafür komplett abschalten möchte:Code:location = /robots.txt {
…
try_files $uri /index.php$is_args$args;
}
Code:location = /robots.txt {
allow all;
log_not_found off;
access_log off;
try_files $uri /index.php$is_args$args;
}