Robots-Tag "noindex, nofollow" & die "Nicht durchsuchen" Funktion sind unklar

[atomfried]

Hallo,
ich werde nicht ganz schlau aus diesen beiden Einstellungen. So wie es in der Contao Doku beschrieben ist funktioniert es bei mir nicht genau.

Ich verstehe es so: Die Robots-Tag einstellungen bestimmt wie Suchmaschinen wie z.B. Google die Seiten indizieren oder eben auch nicht. Die "Nicht durchsuchen" bestimmt ob die interne Contao Suchmaschine die Seiten indizieren soll oder eben auch nicht. Wenn ich aber alle Seiten auf "noindex, nofollow" stelle dann indiziert mir aber auch der interne Contao Crawler nicht die Seiten. Das steht dann sogar auch so im debug.log drin:
Do not request because the URI was disallowed to be followed by either rel="nofollow" or robots.txt hints.


oder auch bei manchen Seiten:
Forwarded to the search indexer. Did not index because of the following reason: No JSON-LD found.
das verstehe ich auch nicht was genau damit gemeint ist.

Auch wenn ich die robots.txt auf Disallow: / stelle wird nichts mehr vom Crawler indiziert.

Ich verstehe das Zusammenspiel dieser beiden Einstellungen nicht, und ob ich vielleicht anderswo einen Fehler gemacht habe und es deswegen nicht funktioniert.
danke!

[Spooky]

Der Robots Meta Tag gilt für alle Crawler, egal ob von Google, Bing, oder der eigene Crawler von Contao.

Die Einstellung Nicht durchsuchen ist unabhängig vom Crawler und definiert für den Search Indexer nur, ob der Inhalt der Seite in den Suchindex aufgenommen werden sollte oder nicht, unabhängig davon, von wem die Seite aufgerufen wurde.

[atomfried]

Wenn ich das jetzt richtig verstehe kommt die Nicht durchsuchen Funktion nur dann zum tragen wenn ein Besucher die Seite aufruft. In dem Fall würde die Seite nicht indiziert werden. Aber wenn ich vorab unter Systemwartung Den Suchindex aktualisieren auswähle kommt nur die Robots-Tag Einstellung zum tragen und die Nicht durchsuchen Einstellung wird ignoriert?!

Wenn dem so ist hiesse es aber auch das es keine Kombination gibt eine interne Suche anzubieten und gleichzeitig Google und Bing auszuschliessen, oder verstehe ich das falsch. Und wenn ja, wie wäre dann in meinem Fall die optimale Einstellungskombination?

Danke schonmal für die Hinweise!

[Spooky]

Wenn ich das jetzt richtig verstehe kommt die Nicht durchsuchen Funktion nur dann zum tragen wenn ein Besucher die Seite aufruft.

Wenn die Seite aufgerufen wird generell, ja (nicht nur von einem Besucher aus Fleisch & Blut ).

Aber wenn ich vorab unter Systemwartung Den Suchindex aktualisieren auswähle kommt nur die Robots-Tag Einstellung zum tragen und die Nicht durchsuchen Einstellung wird ignoriert?!

Nein, das wird nicht ignoriert.

Wenn dem so ist hiesse es aber auch das es keine Kombination gibt eine interne Suche anzubieten und gleichzeitig Google und Bing auszuschliessen, oder verstehe ich das falsch. Und wenn ja, wie wäre dann in meinem Fall die optimale Einstellungskombination?

Jein. Die betroffenen URLs werden in diesem Fall dann zwar nicht durch den Aufruf von Google, Bing oder dem Contao Crawler in den Suchindex aufgenommen, aber trotzdem, wenn die Seite anderweitig aufgerufen wird.

Evt. solltest du dies auf GitHub zur Diskussion stellen, also dass man über den Contao Crawler trotzdem Seiten in den Suchindex aufnehmen lassen kann, auch wenn sie für alle anderen Crawler auf noindex sind.

[atomfried]

Das werde ich wohl so machen. Wird mein erster Github post werden aber dann wenigstens mit einem richtigen Feature-Wunsch.

In meinem Fall wäre dann die kurzfristige Lösung einfach nach und nach alle Seiten einmal selbst aufzurufen. Dummerweise sind es aktuell 435 Seiten. Da werde ich mir wohl ein kleines script schreiben müssen oder einen Linkchecker raussuchen. Danach muss ich nur peinlichst genau darauf achten niemals den Suchindex mehr zu löschen.

[Spooky]

Du könntest aber auch die Seite auf noindex belassen, dafür aber die Einstellung bzw. Ausgabe dynamisch ändern, je nach User-Agent (der Contao Crawler schickt einen spezifischen User-Agent mit).

[atomfried]

Interessanter Gedanke. Nur würde ich in dem Fall eher das Ausschließ- anstatt das Einschließverfahren wählen. Wenn ein Besucher (Fleisch & Blut) auf die Seite geht dann darf der Contao Crawler liebend gerne die Seite indizieren (das wäre ohnehin schon vorher über die Systemwartung passiert, was gefühlt mehr als ne halbe Stunde dauert). Ich müsste dann nur die User-Agents von Google usw. aussperren.

ich werde den Feature-Wunsch kommunizieren, alleine schon deswegen weil ich glaube nicht der einzige zu sein der diese Funktion gerne hätte, auch wenn es eher ein seltenes Szenario ist.

[Shivan]

Hallo,

ich bin auf meiner Suche nach einer Lösung auf diesen Thread gestoßen, und denke, meine Frage passt hier genau zu.

Ich habe eine Website, auf der es einige Unterseiten gibt, die nicht in den Google- bzw. Suchmaschinen-Index mit aufgenommen werden sollen. Ich hatte es vor Contao 4 so eingestellt, dass die Seiten auf "noindex,nofollow" standen und KEIN Häkchen bei "Nicht durchsuchen" gesetzt war. Das hat auch wunderbar funktioniert. Die Suche auf Website hat immer schön Ergebnisse geliefert.
Nun gab es das Update auf Contao 4 und auf einmal funktionierte die Suche nicht mehr ... da bin ich auf diesen Thread gestoßen. Und scheinbar gilt das "noindex,nofollow" nun auch für die interne Contao-Suche.

Nun meine Frage: Wie löse ich es, dass die Seiten nicht in "normalen" Suchmaschinen auftauchen, aber dennoch von der internen Contao-Suche durchsucht werden können und mir diese Ergebnisse liefert?

[contaotester]

Du könntest aber auch die Seite auf noindex belassen, dafür aber die Einstellung bzw. Ausgabe dynamisch ändern, je nach User-Agent (der Contao Crawler schickt einen spezifischen User-Agent mit).

Ich habe diese Methode für News-Artikeln ausprobiert:

// contao/dca/tl_news.php

// Neues Robots-Feld für den Contao-Crawler:

$GLOBALS['TL_DCA']['tl_news']['fields']['custom_contao_crawler_robots'] = [
  'label' => array('Robots-Tag-Anpassung für den Contao-Crawler', 'Für die Suchfunktion auf der Website'),
  'search' => true,
  'inputType' => 'select',
  'options' => array('index,follow', 'index,nofollow', 'noindex,follow', 'noindex,nofollow'),
  'eval' => array('includeBlankOption' => true, 'tl_class'=>'w50'),
  'sql' => array('type' => 'string', 'length' => 32, 'notnull' => true, 'default' => '')
];

PaletteManipulator::create()
  ->addField('custom_contao_crawler_robots', 'robots', PaletteManipulator::POSITION_AFTER)
  ->applyToPalette('default', 'tl_news')
; 

// src/EventListener/ParseArticlesListener.php

namespace App\EventListener;

use Contao\CoreBundle\DependencyInjection\Attribute\AsHook;
use Contao\FrontendTemplate;
use Contao\Module;
use Contao\CoreBundle\Routing\ResponseContext\HtmlHeadBag\HtmlHeadBag;
use Contao\CoreBundle\Routing\ResponseContext\ResponseContextAccessor;

#[AsHook('parseArticles')]
class ParseArticlesListener {

  private ResponseContextAccessor $responseContextAccessor;

  public function __construct(ResponseContextAccessor $responseContextAccessor) {
    $this->responseContextAccessor = $responseContextAccessor;
  }

  public function __invoke(FrontendTemplate $template, array $newsEntry, Module $module): void {

    // User-Agent des aktuellen Aufrufs (im Request Objekt > Headers)
    $request = \Contao\System::getContainer()->get('request_stack')->getCurrentRequest();
    $user_agent = $request->headers->get('user-agent');

    // Falls es der "contao/crawler" ist: Ggf. angepasste Robots-Einstellung verwenden
    if ( $user_agent == 'contao/crawler' && !empty($newsEntry['custom_contao_crawler_robots']) ) {
      $htmlHeadBag = $this->responseContextAccessor->getResponseContext()->get(HtmlHeadBag::class);
      $htmlHeadBag->setMetaRobots($newsEntry['custom_contao_crawler_robots']);  
    }
  }
} 

Das funktioniert auch, aber leider nur teilweise.

Test-Einstellung: Allgemeine Robots "noindex", für den Contao-Crawler "index".

Wenn der Suchindex über das Backend aktualisiert wird, ist die Seite über die Website-Suche auffindbar.

Wenn die Seite im Browser mit DevTools mit dem User-Agent "contao/crawler" aufgerufen wird, wird auch "index,follow" im Quelltext der Seite angezeigt, bei anderen User-Agents "noindex,follow". Theoretisch also alles richtig.

Aber sobald die Seite im Browser mit einem anderen User-Agent als "contao/crawler" aufgerufen wurde, ist sie nicht mehr in den Contao-Suchergebnissen enthalten/auffindbar.

Ich vermute, der Suchindex wird für die betroffenen Seite bei jedem Aufruf aktualisiert und da der Browser einen anderen User-Agent hat, für den "noindex" gilt, speichert Contao diese Einstellung entsprechend?

Kann dieses Verhalten umgangen/angepasst werden?

[Spooky]

Ja stimmt, das alleine reicht dann doch nicht.

[Spooky]

Siehe auch https://github.com/contao/contao/issues/8009