2 domains und eine robots.txt

habe eine Contao Installation, da enthalten zwei Domains die jeweils einen Startpunkt haben...

nun frage ich mich, wie ich die robots.txt erstelle....normaler weise kann da doch nur eine domain angegeben oder wie realisiere ich das am besten?

HTML-Code:

---

User-agent: *
Disallow: /contao/
Disallow: /plugins/
Disallow: /system/
Disallow: /templates/
Disallow: /typolight/
Disallow: /CHANGELOG.txt
Disallow: /cron.php
Disallow: /flash.php
Disallow: /share.php
Disallow: /GPL.txt
Disallow: /INSTALL.txt
Disallow: /LGPL.txt
Sitemap: http://www.domain1.de/sitemap.xml

---

und wo würde nun meine Sitemap: http://www.domain2.de/sitemap2.xml richtig eingeschrieben werden...

Hi,

du kannst in der .htaccess steuern, dass über eine RewriteRegel zwei unterschiedliche robots.txt pro Domain ausgeliefert werden.

Jan

Danke Jan für deinen Hinweis

Zitat:

---

du kannst in der .htaccess steuern, dass über eine RewriteRegel zwei unterschiedliche robots.txt pro Domain ausgeliefert werden.

---

Hast du dazu mal ein Beispiel?

Hi,

mal so aus der Hüfte geschossen und nicht selbst getestet:

Code:

---

RewriteCond %{HTTP_HOST} foobar1.com
RewriteRule ^robots.txt$ /robots-foobar1.txt [L]

RewriteCond %{HTTP_HOST} foobar2.com
RewriteRule ^robots.txt$ /robots-foobar2.txt [L]

---

Jan

@Jan

Danke! Werd ich heute Abend gleich mal austesten..

wenn ich jetzt folgendes aufrufe im Browser:

http://www.domain1.de/robots.txt
oder
http://www.domain2.de/robots.txt

müßte doch automatisch im Fall 1 die robots1.txt und im Fall 2 die robots2.txt bei deinem Code anschlagen oder?

Code:

---

RewriteCond %{HTTP_HOST} domain1.de
RewriteRule ^robots.txt$ /robots1.txt [L]

RewriteCond %{HTTP_HOST} domain2.de
RewriteRule ^robots.txt$ /robots2.txt [L]

---

wenn ja dann klappt dies aber leider nicht...
er findet die robots.txt so nicht sonder nur wenn ich sie so auch in der Adressleiste eingebe:

http://www.domain1.de/robots1.txt
oder
http://www.domain2.de/robots2.txt

was mache ich falsch oder gehe ich falsch ran?

Dann www mit angeben in der Regel, wenn du per www.domain... ankommst:

Code:

---

RewriteCond %{HTTP_HOST} www\.domain1\.de
RewriteRule ^robots.txt$ /robots1.txt [L]

RewriteCond %{HTTP_HOST} www\.domain2\.de
RewriteRule ^robots.txt$ /robots2.txt [L]

---

@BugBuster

ne....passiert auch nix...kann die robots.txt so nicht finden zeigt er mir an....

So vielleicht:

Code:

---

RewriteCond %{HTTP_HOST} domain1\.de$ [NC]
RewriteRule ^robots\.txt$ /robots1.txt [L]

RewriteCond %{HTTP_HOST} domain2\.de$ [NC]
RewriteRule ^robots\.txt$ /robots2.txt [L]

---

@xchs

Not Found

The requested URL /robots.txt was not found on this server.

--> leider auch nicht.....

auf dem FTP liegt alles unter /html/ und da siet es so aus Anhang 6417

Liegt die Installation in einem Unterverzeichnis? Hast Du die RewriteBase richtig gesetzt?

Zitat:

---

Liegt die Installation in einem Unterverzeichnis?

---

das ganze ist bei alfahosting und liegt da im Ordner "html" und darüber kann ich nichts rein bzw. ablegen/hochladen...

Zitat:

---

Hast Du die RewriteBase richtig gesetzt?

---

wo kann ich das einstellen?

Zitat:

---

Zitat von danny

wo kann ich das einstellen?

---

In der ".htaccess":

Code:

---

  ##
  # Change the RewriteBase if your Contao installation is in a subdirectoy and
  # the rewrite rules are not working properly. Usage examples:
  #
  #  RewriteBase /contao-2.11.0
  #  RewriteBase /path/to/contao
  #
  # Depending on your server, you might have to remove the line entirely.
  ##
  RewriteBase /

---

hab das ganze jetzt so in der .htaccess so drinne stehen und leider immer noch nicht von Erfolg gekrönt

Code:

---

  ##
  # Change the RewriteBase if your Contao installation is in a subdirectoy and
  # the rewrite rules are not working properly. Usage examples:
  #
  #  RewriteBase /contao-2.11.0
  #  RewriteBase /path/to/contao
  #
  # Depending on your server, you might have to remove the line entirely.
  ##
  RewriteBase /

RewriteCond %{HTTP_HOST} domain1\.de$ [NC]
RewriteRule ^robots\.txt$ /robots1.txt [L]

RewriteCond %{HTTP_HOST} domain2\.de$ [NC]
RewriteRule ^robots\.txt$ /robots2.txt [L]

---

Hast Du das jetzt selbst eingefügt? Weil diesen Block müsste es dort ja schon geben (jedenfalls in der in Contao mitgelieferten Vorlage)!

selbst eingefügt

Also bei mir klappt das Umschreiben mit den obigen Direktiven einwandfrei. Keine Ahnung, wieso das bei Dir nicht funktioniert.

@xchs

wie müßte denn dann die ganze vollständige .htaccess aussehen...anscheind habe ich wohl nicht alles in ihr eingesetzt...haste mal die ursprüngliche ausgabe für mich der .htaccess?

Nichts Besonderes: Ich verwende grundsätzlich die Vorgaben aus der ".htaccess.default". Geändert habe ich lediglich meine RewriteBase (Zeile auskommentiert):

Code:

---

RewriteBase /

---

Die obigen Umschreiberegeln habe ich dann ganz am Ende nach der letzten Rewrite-Rule eingefügt:

Code:

---

RewriteRule .*\.html$ index.php [L]

RewriteCond %{HTTP_HOST} domain1\.de$ [NC]
RewriteRule ^robots\.txt$ /robots1.txt [L]

RewriteCond %{HTTP_HOST} domain2\.de$ [NC]
RewriteRule ^robots\.txt$ /robots2.txt [L]

---

Mehr habe ich nicht gemacht!

also quasi so ?:

Code:

---

##
# Contao Open Source CMS
# Copyright (C) 2005-2011 Leo Feyer
#
# Formerly known as TYPOlight Open Source CMS.
#
# This program is free software: you can redistribute it and/or
# modify it under the terms of the GNU Lesser General Public
# License as published by the Free Software Foundation, either
# version 3 of the License, or (at your option) any later version.
#
# This program is distributed in the hope that it will be useful,
# but WITHOUT ANY WARRANTY; without even the implied warranty of
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
# Lesser General Public License for more details.
#
# You should have received a copy of the GNU Lesser General Public
# License along with this program. If not, please visit the Free
# Software Foundation website at <http://www.gnu.org/licenses/>.
#
# PHP version 5
# @copyright  Leo Feyer 2005-2011
# @author    Leo Feyer <http://www.contao.org>
# @license    LGPL
##

##
# Disable ETags
# @see http://developer.yahoo.com/performance/rules.html#etags
##
FileETag None

##
# Prevent access to the Contao template files
##
<FilesMatch "\.(tpl|html5|xhtml)$">
  Order allow,deny
  Deny from all
</FilesMatch>

<IfModule mod_mime.c>

  ##
  # Serve the correct content type for .htc files (CSS3 PIE)
  # @see http://css3pie.com/documentation/known-issues/#content-type
  ##
  AddType text/x-component .htc

</IfModule>

<IfModule mod_deflate.c>

  ##
  # Use mod_deflate to compress JavaScript, CSS, XML, HTML and PHP files.
  # @see http://developer.yahoo.com/performance/rules.html#gzip
  ##
  <FilesMatch "\.(css|js|xml|html?|php)$">
    SetOutputFilter DEFLATE
  </FilesMatch>

</IfModule>

<IfModule mod_headers.c>

  ##
  # Disable ETags
  # @see http://developer.yahoo.com/performance/rules.html#etags
  ##
  Header unset ETag

  ##
  # Add a Vary Accept-Encoding header for the compressed resources. If you
  # modify the file types above, make sure to change them here accordingly.
  # @see http://developer.yahoo.com/performance/rules.html#gzip
  ##
  <FilesMatch "\.(js|css|xml|gz)$">
    Header append Vary Accept-Encoding
  </FilesMatch>

</IfModule>

<IfModule mod_expires.c>

  ##
  # Activate the module
  ##
  ExpiresActive On

  ##
  # Specify an expiration 30 days in the future for images, JavaScripts and
  # CSS files. Edit or remove the lines to set up your own expiration logic.
  # @see http://developer.yahoo.com/performance/rules.html#expires
  ##
  ExpiresByType image/png A2592000
  ExpiresByType image/gif A2592000
  ExpiresByType image/jpg A2592000
  ExpiresByType image/jpeg A2592000
  ExpiresByType text/javascript A2592000
  ExpiresByType application/x-javascript A2592000
  ExpiresByType application/javascript A2592000
  ExpiresByType text/css A2592000
  ExpiresByType image/x-icon A2592000

</IfModule>

<IfModule mod_rewrite.c>

  ##
  # Activate the module
  ##
  RewriteEngine On

  ##
  # Set the RewriteBase if your Contao installation is in a subdirectoy and
  # the rewrite rules are not working properly. Usage examples:
  #
  #  RewriteBase /contao-2.9.0
  #  RewriteBase /path/to/contao
  #
  # Uncomment the following line to set the RewriteBase.
  ##
  #RewriteBase /
RewriteBase /

  ##
  # Contao usually does not pass absolute URLs via GET, therefore the
  # following rules block all requests that try to pass a URL or the /etc/
  # directory as parameter (malicious requests).
  ##
  RewriteCond %{REQUEST_URI} (ftp|https?):|/etc/ [NC,OR]
  RewriteCond %{QUERY_STRING} (ftp|https?):|/etc/ [NC]
  RewriteRule .* - [F,L]

  ##
  # Uncomment the following lines and replace "domain.com" with your domain
  # name to redirect requests without "www" to the correct domain.
  ##
  #RewriteCond %{HTTP_HOST} ^domain\.com [NC]
  #RewriteRule (.*) http://www.domain.com/$1 [R=301,L]

  ##
  # If you cannot use mod_deflate, uncomment the following lines to load a
  # compressed .gz version of the bigger Contao JavaScript and CSS files.
  ##
  #AddEncoding gzip .gz
  #<FilesMatch "\.js\.gz$">
  #  AddType "text/javascript" .gz
  #</FilesMatch>
  #<FilesMatch "\.css\.gz$">
  #  AddType "text/css" .gz
  #</FilesMatch>
  #RewriteCond %{HTTP:Accept-encoding} gzip
  #RewriteCond %{REQUEST_FILENAME} \.(js|css)$
  #RewriteCond %{REQUEST_FILENAME}.gz -f
  #RewriteRule ^(.*)$ $1.gz [QSA,L]

  ##
  # Do not rewrite requests for static files or folders such as style sheets,
  # images, movies or text documents.
  ##
  RewriteCond %{REQUEST_FILENAME} !-f
  RewriteCond %{REQUEST_FILENAME} !-d

  ##
  # By default, Contao adds ".html" to the generated URLs to simulate static
  # HTML documents. If you change the URL suffix in the back end settings, make
  # sure to change it here accordingly!
  #
  #  RewriteRule .*\.html$ index.php [L]  # URL suffix .html
  #  RewriteRule .* index.php [L]          # No URL suffix
  #  RewriteRule .*\.txt$ index.php [L]    # URL suffix .txt
  #
  # If you are using mod_cache, it is recommended to use the RewriteRule below,
  # which adds the query string to the internal URL:
  #
  #  RewriteRule (.*\.html)$ index.php/$1 [L]
  #
  # Note that not all environments support mod_rewrite and mod_cache.
  ##
  RewriteRule .*\.html$ index.php [L]

RewriteCond %{HTTP_HOST} www\.domain1\.de$ [NC]
RewriteRule ^robots\.txt$ /robots1.txt [L]

RewriteCond %{HTTP_HOST} www\.domain2\.de$ [NC]
RewriteRule ^robots\.txt$ /robots2.txt [L]

</IfModule>

---

so bekomme ich dann die meldung

Zitat:

---

Forbidden

You don't have permission to access /robots.txt on this server.

---

Zitat:

---

Zitat von danny

also quasi so ?

---

Ja, genau. Lediglich die www Subdomain-Angabe hatte ich vorhin in meinem Test nicht mit angegeben.

wenn ich es so mache dann läßt sich die Seite so auch nicht mehr aufrufen...

wenn ich

Code:

---

<IfModule mod_rewrite.c>

  ##
  # Activate the module
  ##
  RewriteEngine On

---

RewriteEngine On auf Off stelle dann läßt sich zumindest die Seite wieder aufrufen aber die robots.txt trotzdem nicht finden

jetzt funzt es!!!!

lag am Provider bei Alfahosting,
wo in den Einstellungen noch mod_rewrite auf Off gesetzt war und diese nun auf On von mir umgestellt wurde....

Danke euch allen für die Hilfe!

Hallo zusammen,

ich habe dieselbe Thematik, arbeite allerdings bereits mit der aktuellen Contao-Version. Hier hat sich ja augenscheinlich einiges in der htaccess geändert und leider funktioniert die Lösung in meinem Fall nicht.

Ich habe unterschiedliche Lösungsansätze probiert komme jedoch nicht zur Lösung. Es scheint, als ob bei der robots.txt gar kein rewrite greift, denn auch die www-rewrite-Rule zieht nicht.

Hat hier jemand einen Tipp?

Contao liegt NICHT in einem Unterverzeichnis und alle anderen Rules funktionieren problemlos.

Hallo Tim,

hast du eine Lösung gefunden? Bei mir schaut´s aus wie bei dir: alle Rewrites funktionieren, nur die für die robots.txt nicht.