Ich baue in so einem Fall den Such-Index via Console und Cronjob auf und gebe dem Crawler nur genau das was er verarbeiten soll.
(/usr/bin/php74 /usr/.../vendor/bin/contao-console contao:crawl -s search-index >/dev/null 2>&1)
PHP-Code:
$agent = Environment::get('agent');
if(strpos($agent->string, 'contao') !== false) {
$this->Template->crawlerIsContao = true;
} else {
$this->Template->crawlerIsContao = false;
}
Im Template wird jetzt für den Contao Crawler was anderes angezeigt als für den Rest.
Zuvor hatte ich es auch über einen versteckten Bereich gelöst. Kann aber nicht sagen ob das eine negative Auswirkung hatte.. funktioniert hat es jedenfalls.
Welcher UserAgent beim Suchindex aufbauen im Backend verwendet wird kann ich nicht sagen..
Lesezeichen