Download(s): X-Robots-Tag Header setzen

Kurz vor dem Jahreswechsel eine knifflige Frage:
Wie kann ich für Dateien .pdf und .zip, die ich per ce_download bzw. ce_downloads anbiete, im Header X-Robots-Tag "noindex, nofollow" setzen?

Das Problem:
Per FilesMatch in der .htaccess funktioniert es nicht, da die PDF-Datei per GET Parameter übergeben wird, der in FilesMatch nicht verfügbar ist.

Vielen Dank für Tipps,
und einen schönen Jahreswechsel,
folkfreund

Ahoi,

Zitat:

---

Zitat von folkfreund

Wie kann ich für Dateien .pdf und .zip, die ich per ce_download bzw. ce_downloads anbiete, im Header X-Robots-Tag "noindex, nofollow" setzen?

---

Wirklich nur in dem Fall, dass sie per ce_downloads(s) angeboten werden, oder ganz allgemein? Im zweiten Falle ginge es ja ganz einfach über das Seiten-Layout oder fe_page. Im ersten Fall wäre evtl. ein extra Seiten-Layout eine Möglichkeit.

Wenn man davon ausgehen darf, daß die URL mir dem Dateinamen und damit mit ".pdf" endet, eventuell etwas wie

Code:

---

<IfModule mod_headers.c>
    <If "%{THE_REQUEST} =~ /\.pdf$/">
        Header set ...
    </If>
</IfModule>

---

Siehe http://httpd.apache.org/docs/2.4/mod/core.html#if und http://httpd.apache.org/docs/2.4/expr.html

Vielen Dank für die Tipps! EIne allgemeine Regel für alle .pdf und .zip Dateien würde mir reichen.

@fiedsch:
Ich habe es in der .htaccess für PDFs versucht mit

Code:

---

<IfModule mod_headers.c>
    # Allow access from all domains for webfonts (see contao/core-bundle#528)
    <FilesMatch "\.(ttf|ttc|otf|eot|woff2?|font\.css)$">
        Header set Access-Control-Allow-Origin "*"
    </FilesMatch>
    <If "%{QUERY_STRING} =~ /\.pdf$/">
        Header set X-Robots-Tag "noindex, nofollow"
    </If>
</IfModule>

---

Leider kann ich keine Änderung des Headers beim Abruf einer PDF-Datei feststellen. Ich hatte auch den Prod.Cache gelöscht.

@Stefko:
Was müsste ich denn in der fe_page eintragen?

Feiert schön - bis nächstes Jahr :D

versuche mal

Code:

---

<Files ~ "\.pdf$">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>

---

habe ich hier gefunden
https://developers.google.com/search...meta_tag?hl=de

Cheers und nen guten Rutsch :-)

Das hatte ich als erstes probiert, schon vor meinem ersten Post. Funktioniert aus demselben Grund wie FilesMatch nicht: der Parameter-Teil der URL kommt hier nicht offensichtlich an.

Erst dachte ich, dass Stefkos Anregung funktionieren könnte den Header in der fe_page zu setzen, wenn ein Download abgerufen wird. Aber kommt die fe_page überhaupt noch zum Tragen? Es wird zwar die URL der aktuellen Seite aufgerufen mit Parameter "?file=files/downloads/xyz.pdf". Im Browser wird jedoch nicht die aufrufende Seite neu geladen, sondern es wird lediglich - wie gewünscht - die PDF-Datei heruntergeladen.

Hat vielleicht jemand eine Idee, warum diese Ergänzung der htaccess nicht funktioniert:

Code:

---

<If "%{QUERY_STRING} =~ /\.pdf$/">
    Header set X-Robots-Tag "noindex, nofollow"
</If>

---

Oder schaue ich vielleicht einfach nur falsch nach? Ich bin etwas verwirrt...

Also ich habe im ce_download Template ein

Code:

---

rel="nofollow"

---

eingebaut. Template unter einem neuen Namen, so kann ich überall wählen wo ich das so haben will und wo nicht.

Danke, aber genau das habe ich auch getan.
In meinem anderen Thread fragst du, wie ich darauf komme, dass Bots dennoch die Downloads abrufen und dlstats die auch noch zählt: ich sehe für meinen Geschmack viel zu viele Zugriffe auf die Dateien, und immer aus ähnlichen Domains.
Mir ist klar, dass es keine Garantie gibt, dass sich Bots an die Regeln halten.
Gestern habe ich die Statistik zurückgesetzt. Ich werde es weiter beobachten.

Notfalls könntest du IP Adressbereiche von der Zählung raus nehmen, sofern die sich bestimmen lassen und alle aus einem Netz kommen.
https://docs.contao.ninja/books/user...de/ignore-ips/