Das Contao Camp 2020 in Hamburg. LEIDER ABGESAGT!
Ergebnis 1 bis 25 von 25

Thema: 2 domains und eine robots.txt

  1. #1
    Contao-Nutzer Avatar von danny
    Registriert seit
    04.03.2011.
    Ort
    Düsseldorf
    Beiträge
    99

    Standard 2 domains und eine robots.txt

    habe eine Contao Installation, da enthalten zwei Domains die jeweils einen Startpunkt haben...

    nun frage ich mich, wie ich die robots.txt erstelle....normaler weise kann da doch nur eine domain angegeben oder wie realisiere ich das am besten?

    HTML-Code:
    User-agent: *
    Disallow: /contao/
    Disallow: /plugins/
    Disallow: /system/
    Disallow: /templates/
    Disallow: /typolight/
    Disallow: /CHANGELOG.txt
    Disallow: /cron.php
    Disallow: /flash.php
    Disallow: /share.php
    Disallow: /GPL.txt
    Disallow: /INSTALL.txt
    Disallow: /LGPL.txt
    Sitemap: http://www.domain1.de/sitemap.xml
    und wo würde nun meine Sitemap: http://www.domain2.de/sitemap2.xml richtig eingeschrieben werden...

  2. #2
    Contao-Urgestein Avatar von jan.theofel
    Registriert seit
    23.06.2009.
    Ort
    Berlin
    Beiträge
    1.846

    Standard

    Hi,

    du kannst in der .htaccess steuern, dass über eine RewriteRegel zwei unterschiedliche robots.txt pro Domain ausgeliefert werden.

    Jan
    Jan Theofel
    Barcamp-Moderator für Corporate-Barcamps und öffentliche Barcamps

  3. #3
    Contao-Nutzer Avatar von danny
    Registriert seit
    04.03.2011.
    Ort
    Düsseldorf
    Beiträge
    99

    Standard

    Danke Jan für deinen Hinweis

    du kannst in der .htaccess steuern, dass über eine RewriteRegel zwei unterschiedliche robots.txt pro Domain ausgeliefert werden.
    Hast du dazu mal ein Beispiel?

  4. #4
    Contao-Urgestein Avatar von jan.theofel
    Registriert seit
    23.06.2009.
    Ort
    Berlin
    Beiträge
    1.846

    Standard

    Hi,

    mal so aus der Hüfte geschossen und nicht selbst getestet:

    Code:
    RewriteCond %{HTTP_HOST} foobar1.com
    RewriteRule ^robots.txt$ /robots-foobar1.txt [L]
    
    RewriteCond %{HTTP_HOST} foobar2.com
    RewriteRule ^robots.txt$ /robots-foobar2.txt [L]
    Jan
    Jan Theofel
    Barcamp-Moderator für Corporate-Barcamps und öffentliche Barcamps

  5. #5
    Contao-Nutzer Avatar von danny
    Registriert seit
    04.03.2011.
    Ort
    Düsseldorf
    Beiträge
    99

    Standard

    @Jan

    Danke! Werd ich heute Abend gleich mal austesten..

  6. #6
    Contao-Nutzer Avatar von danny
    Registriert seit
    04.03.2011.
    Ort
    Düsseldorf
    Beiträge
    99

    Frage

    wenn ich jetzt folgendes aufrufe im Browser:

    http://www.domain1.de/robots.txt
    oder
    http://www.domain2.de/robots.txt

    müßte doch automatisch im Fall 1 die robots1.txt und im Fall 2 die robots2.txt bei deinem Code anschlagen oder?

    Code:
    RewriteCond %{HTTP_HOST} domain1.de
    RewriteRule ^robots.txt$ /robots1.txt [L]
    
    RewriteCond %{HTTP_HOST} domain2.de
    RewriteRule ^robots.txt$ /robots2.txt [L]
    wenn ja dann klappt dies aber leider nicht...
    er findet die robots.txt so nicht sonder nur wenn ich sie so auch in der Adressleiste eingebe:

    http://www.domain1.de/robots1.txt
    oder
    http://www.domain2.de/robots2.txt

    was mache ich falsch oder gehe ich falsch ran?

  7. #7
    Wandelndes Contao-Lexikon Avatar von BugBuster
    Registriert seit
    15.06.2009.
    Ort
    Berlin
    Beiträge
    10.126
    User beschenken
    Wunschliste

    Standard

    Dann www mit angeben in der Regel, wenn du per www.domain... ankommst:
    Code:
    RewriteCond %{HTTP_HOST} www\.domain1\.de
    RewriteRule ^robots.txt$ /robots1.txt [L]
    
    RewriteCond %{HTTP_HOST} www\.domain2\.de
    RewriteRule ^robots.txt$ /robots2.txt [L]
    Grüße, BugBuster
    "view source" is your guide.
    Danke an alle Amazon Wunschlisten Erfüller

  8. #8
    Contao-Nutzer Avatar von danny
    Registriert seit
    04.03.2011.
    Ort
    Düsseldorf
    Beiträge
    99

    Standard

    @BugBuster

    ne....passiert auch nix...kann die robots.txt so nicht finden zeigt er mir an....

  9. #9
    Administrator Avatar von xchs
    Registriert seit
    19.06.2009.
    Beiträge
    14.086
    User beschenken
    Wunschliste

    Standard

    So vielleicht:
    Code:
    RewriteCond %{HTTP_HOST} domain1\.de$ [NC]
    RewriteRule ^robots\.txt$ /robots1.txt [L]
    
    RewriteCond %{HTTP_HOST} domain2\.de$ [NC]
    RewriteRule ^robots\.txt$ /robots2.txt [L]
    Contao Community Administrator
    [Unterstützungsmöglichkeiten]

  10. #10
    Contao-Nutzer Avatar von danny
    Registriert seit
    04.03.2011.
    Ort
    Düsseldorf
    Beiträge
    99

    Standard

    @xchs

    Not Found

    The requested URL /robots.txt was not found on this server.

    --> leider auch nicht.....

    auf dem FTP liegt alles unter /html/ und da siet es so aus ftp.JPG
    Geändert von danny (27.01.2012 um 09:35 Uhr)

  11. #11
    Administrator Avatar von xchs
    Registriert seit
    19.06.2009.
    Beiträge
    14.086
    User beschenken
    Wunschliste

    Standard

    Liegt die Installation in einem Unterverzeichnis? Hast Du die RewriteBase richtig gesetzt?
    Contao Community Administrator
    [Unterstützungsmöglichkeiten]

  12. #12
    Contao-Nutzer Avatar von danny
    Registriert seit
    04.03.2011.
    Ort
    Düsseldorf
    Beiträge
    99

    Standard

    Liegt die Installation in einem Unterverzeichnis?
    das ganze ist bei alfahosting und liegt da im Ordner "html" und darüber kann ich nichts rein bzw. ablegen/hochladen...

    Hast Du die RewriteBase richtig gesetzt?
    wo kann ich das einstellen?

  13. #13
    Administrator Avatar von xchs
    Registriert seit
    19.06.2009.
    Beiträge
    14.086
    User beschenken
    Wunschliste

    Standard

    Zitat Zitat von danny Beitrag anzeigen
    wo kann ich das einstellen?
    In der ".htaccess":
    Code:
      ##
      # Change the RewriteBase if your Contao installation is in a subdirectoy and
      # the rewrite rules are not working properly. Usage examples:
      #
      #   RewriteBase /contao-2.11.0
      #   RewriteBase /path/to/contao
      #
      # Depending on your server, you might have to remove the line entirely. 
      ##
      RewriteBase /
    Contao Community Administrator
    [Unterstützungsmöglichkeiten]

  14. #14
    Contao-Nutzer Avatar von danny
    Registriert seit
    04.03.2011.
    Ort
    Düsseldorf
    Beiträge
    99

    Standard

    hab das ganze jetzt so in der .htaccess so drinne stehen und leider immer noch nicht von Erfolg gekrönt

    Code:
      ##
      # Change the RewriteBase if your Contao installation is in a subdirectoy and
      # the rewrite rules are not working properly. Usage examples:
      #
      #   RewriteBase /contao-2.11.0
      #   RewriteBase /path/to/contao
      #
      # Depending on your server, you might have to remove the line entirely. 
      ##
      RewriteBase /
    
    RewriteCond %{HTTP_HOST} domain1\.de$ [NC]
    RewriteRule ^robots\.txt$ /robots1.txt [L]
    
    RewriteCond %{HTTP_HOST} domain2\.de$ [NC]
    RewriteRule ^robots\.txt$ /robots2.txt [L]

  15. #15
    Administrator Avatar von xchs
    Registriert seit
    19.06.2009.
    Beiträge
    14.086
    User beschenken
    Wunschliste

    Standard

    Hast Du das jetzt selbst eingefügt? Weil diesen Block müsste es dort ja schon geben (jedenfalls in der in Contao mitgelieferten Vorlage)!
    Contao Community Administrator
    [Unterstützungsmöglichkeiten]

  16. #16
    Contao-Nutzer Avatar von danny
    Registriert seit
    04.03.2011.
    Ort
    Düsseldorf
    Beiträge
    99

    Standard

    selbst eingefügt
    Geändert von danny (27.01.2012 um 10:26 Uhr)

  17. #17
    Administrator Avatar von xchs
    Registriert seit
    19.06.2009.
    Beiträge
    14.086
    User beschenken
    Wunschliste

    Standard

    Also bei mir klappt das Umschreiben mit den obigen Direktiven einwandfrei. Keine Ahnung, wieso das bei Dir nicht funktioniert.
    Contao Community Administrator
    [Unterstützungsmöglichkeiten]

  18. #18
    Contao-Nutzer Avatar von danny
    Registriert seit
    04.03.2011.
    Ort
    Düsseldorf
    Beiträge
    99

    Standard

    @xchs

    wie müßte denn dann die ganze vollständige .htaccess aussehen...anscheind habe ich wohl nicht alles in ihr eingesetzt...haste mal die ursprüngliche ausgabe für mich der .htaccess?

  19. #19
    Administrator Avatar von xchs
    Registriert seit
    19.06.2009.
    Beiträge
    14.086
    User beschenken
    Wunschliste

    Standard

    Nichts Besonderes: Ich verwende grundsätzlich die Vorgaben aus der ".htaccess.default". Geändert habe ich lediglich meine RewriteBase (Zeile auskommentiert):
    Code:
    RewriteBase /
    Die obigen Umschreiberegeln habe ich dann ganz am Ende nach der letzten Rewrite-Rule eingefügt:
    Code:
    RewriteRule .*\.html$ index.php [L]
    
    RewriteCond %{HTTP_HOST} domain1\.de$ [NC]
    RewriteRule ^robots\.txt$ /robots1.txt [L]
    
    RewriteCond %{HTTP_HOST} domain2\.de$ [NC]
    RewriteRule ^robots\.txt$ /robots2.txt [L]
    Mehr habe ich nicht gemacht!
    Contao Community Administrator
    [Unterstützungsmöglichkeiten]

  20. #20
    Contao-Nutzer Avatar von danny
    Registriert seit
    04.03.2011.
    Ort
    Düsseldorf
    Beiträge
    99

    Standard

    also quasi so ?:

    Code:
    ##
    # Contao Open Source CMS
    # Copyright (C) 2005-2011 Leo Feyer
    #
    # Formerly known as TYPOlight Open Source CMS.
    #
    # This program is free software: you can redistribute it and/or
    # modify it under the terms of the GNU Lesser General Public
    # License as published by the Free Software Foundation, either
    # version 3 of the License, or (at your option) any later version.
    # 
    # This program is distributed in the hope that it will be useful,
    # but WITHOUT ANY WARRANTY; without even the implied warranty of
    # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
    # Lesser General Public License for more details.
    # 
    # You should have received a copy of the GNU Lesser General Public
    # License along with this program. If not, please visit the Free
    # Software Foundation website at <http://www.gnu.org/licenses/>.
    #
    # PHP version 5
    # @copyright  Leo Feyer 2005-2011
    # @author     Leo Feyer <http://www.contao.org>
    # @license    LGPL
    ##
    
    ##
    # Disable ETags
    # @see http://developer.yahoo.com/performance/rules.html#etags
    ##
    FileETag None
    
    ##
    # Prevent access to the Contao template files
    ##
    <FilesMatch "\.(tpl|html5|xhtml)$">
      Order allow,deny
      Deny from all
    </FilesMatch>
    
    <IfModule mod_mime.c>
    
      ##
      # Serve the correct content type for .htc files (CSS3 PIE)
      # @see http://css3pie.com/documentation/known-issues/#content-type
      ##
      AddType text/x-component .htc
    
    </IfModule>
    
    <IfModule mod_deflate.c>
    
      ##
      # Use mod_deflate to compress JavaScript, CSS, XML, HTML and PHP files.
      # @see http://developer.yahoo.com/performance/rules.html#gzip
      ##
      <FilesMatch "\.(css|js|xml|html?|php)$">
        SetOutputFilter DEFLATE
      </FilesMatch>
    
    </IfModule>
    
    <IfModule mod_headers.c>
    
      ##
      # Disable ETags
      # @see http://developer.yahoo.com/performance/rules.html#etags
      ##
      Header unset ETag
    
      ##
      # Add a Vary Accept-Encoding header for the compressed resources. If you
      # modify the file types above, make sure to change them here accordingly.
      # @see http://developer.yahoo.com/performance/rules.html#gzip
      ##
      <FilesMatch "\.(js|css|xml|gz)$">
        Header append Vary Accept-Encoding
      </FilesMatch>
    
    </IfModule>
    
    <IfModule mod_expires.c>
    
      ##
      # Activate the module
      ##
      ExpiresActive On
    
      ##
      # Specify an expiration 30 days in the future for images, JavaScripts and
      # CSS files. Edit or remove the lines to set up your own expiration logic.
      # @see http://developer.yahoo.com/performance/rules.html#expires
      ##
      ExpiresByType image/png A2592000
      ExpiresByType image/gif A2592000
      ExpiresByType image/jpg A2592000
      ExpiresByType image/jpeg A2592000
      ExpiresByType text/javascript A2592000
      ExpiresByType application/x-javascript A2592000
      ExpiresByType application/javascript A2592000
      ExpiresByType text/css A2592000
      ExpiresByType image/x-icon A2592000
    
    </IfModule>
    
    <IfModule mod_rewrite.c>
    
      ##
      # Activate the module
      ##
      RewriteEngine On
    
      ##
      # Set the RewriteBase if your Contao installation is in a subdirectoy and
      # the rewrite rules are not working properly. Usage examples:
      #
      #   RewriteBase /contao-2.9.0
      #   RewriteBase /path/to/contao
      #
      # Uncomment the following line to set the RewriteBase.
      ##
      #RewriteBase /
    RewriteBase /
    
      ##
      # Contao usually does not pass absolute URLs via GET, therefore the
      # following rules block all requests that try to pass a URL or the /etc/
      # directory as parameter (malicious requests).
      ##
      RewriteCond %{REQUEST_URI} (ftp|https?):|/etc/ [NC,OR]
      RewriteCond %{QUERY_STRING} (ftp|https?):|/etc/ [NC]
      RewriteRule .* - [F,L]
    
      ##
      # Uncomment the following lines and replace "domain.com" with your domain
      # name to redirect requests without "www" to the correct domain. 
      ##
      #RewriteCond %{HTTP_HOST} ^domain\.com [NC]
      #RewriteRule (.*) http://www.domain.com/$1 [R=301,L]
    
      ##
      # If you cannot use mod_deflate, uncomment the following lines to load a
      # compressed .gz version of the bigger Contao JavaScript and CSS files.
      ##
      #AddEncoding gzip .gz
      #<FilesMatch "\.js\.gz$">
      #  AddType "text/javascript" .gz
      #</FilesMatch>
      #<FilesMatch "\.css\.gz$">
      #  AddType "text/css" .gz
      #</FilesMatch>
      #RewriteCond %{HTTP:Accept-encoding} gzip
      #RewriteCond %{REQUEST_FILENAME} \.(js|css)$
      #RewriteCond %{REQUEST_FILENAME}.gz -f
      #RewriteRule ^(.*)$ $1.gz [QSA,L]
    
      ##
      # Do not rewrite requests for static files or folders such as style sheets,
      # images, movies or text documents.
      ##
      RewriteCond %{REQUEST_FILENAME} !-f
      RewriteCond %{REQUEST_FILENAME} !-d
    
      ##
      # By default, Contao adds ".html" to the generated URLs to simulate static
      # HTML documents. If you change the URL suffix in the back end settings, make
      # sure to change it here accordingly!
      #
      #   RewriteRule .*\.html$ index.php [L]   # URL suffix .html
      #   RewriteRule .* index.php [L]          # No URL suffix
      #   RewriteRule .*\.txt$ index.php [L]    # URL suffix .txt
      #
      # If you are using mod_cache, it is recommended to use the RewriteRule below,
      # which adds the query string to the internal URL:
      # 
      #   RewriteRule (.*\.html)$ index.php/$1 [L]
      #
      # Note that not all environments support mod_rewrite and mod_cache.
      ##
      RewriteRule .*\.html$ index.php [L]
    
    RewriteCond %{HTTP_HOST} www\.domain1\.de$ [NC]
    RewriteRule ^robots\.txt$ /robots1.txt [L]
    
    RewriteCond %{HTTP_HOST} www\.domain2\.de$ [NC]
    RewriteRule ^robots\.txt$ /robots2.txt [L]
    
    </IfModule>
    so bekomme ich dann die meldung

    Forbidden

    You don't have permission to access /robots.txt on this server.

  21. #21
    Administrator Avatar von xchs
    Registriert seit
    19.06.2009.
    Beiträge
    14.086
    User beschenken
    Wunschliste

    Standard

    Zitat Zitat von danny Beitrag anzeigen
    also quasi so ?
    Ja, genau. Lediglich die www Subdomain-Angabe hatte ich vorhin in meinem Test nicht mit angegeben.
    Contao Community Administrator
    [Unterstützungsmöglichkeiten]

  22. #22
    Contao-Nutzer Avatar von danny
    Registriert seit
    04.03.2011.
    Ort
    Düsseldorf
    Beiträge
    99

    Standard

    wenn ich es so mache dann läßt sich die Seite so auch nicht mehr aufrufen...

    wenn ich
    Code:
    <IfModule mod_rewrite.c>
    
      ##
      # Activate the module
      ##
      RewriteEngine On
    RewriteEngine On auf Off stelle dann läßt sich zumindest die Seite wieder aufrufen aber die robots.txt trotzdem nicht finden

  23. #23
    Contao-Nutzer Avatar von danny
    Registriert seit
    04.03.2011.
    Ort
    Düsseldorf
    Beiträge
    99

    Standard

    jetzt funzt es!!!!

    lag am Provider bei Alfahosting,
    wo in den Einstellungen noch mod_rewrite auf Off gesetzt war und diese nun auf On von mir umgestellt wurde....

    Danke euch allen für die Hilfe!

  24. #24
    Contao-Nutzer
    Registriert seit
    06.03.2014.
    Beiträge
    2

    Standard

    Hallo zusammen,

    ich habe dieselbe Thematik, arbeite allerdings bereits mit der aktuellen Contao-Version. Hier hat sich ja augenscheinlich einiges in der htaccess geändert und leider funktioniert die Lösung in meinem Fall nicht.

    Ich habe unterschiedliche Lösungsansätze probiert komme jedoch nicht zur Lösung. Es scheint, als ob bei der robots.txt gar kein rewrite greift, denn auch die www-rewrite-Rule zieht nicht.

    Hat hier jemand einen Tipp?

    Contao liegt NICHT in einem Unterverzeichnis und alle anderen Rules funktionieren problemlos.

  25. #25
    Contao-Fan
    Registriert seit
    13.08.2010.
    Beiträge
    304

    Standard

    Hallo Tim,

    hast du eine Lösung gefunden? Bei mir schaut´s aus wie bei dir: alle Rewrites funktionieren, nur die für die robots.txt nicht.
    Viele Grüße, TN

Aktive Benutzer

Aktive Benutzer

Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)

Lesezeichen

Lesezeichen

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •