Auf unserer Schul-Verwaltungs-Seite (4.9.3), die quasi nur aus einem passwortgeschützten Bereich für 60 Mitglieder besteht, werden zwei Suchen für Lehrer angeboten, deren Suchindex laufend aktualisiert werden sollte. Dies war in der Vergangenheit nie ein Problem (die Seite läuft seit 2.9.5). Mit dem Crawler gestaltet sich die ganze Sache nun allerdings recht schwierig:
Da ich eigentlich nicht möchte, dass die Seite von außen durchsucht wird, würde ich die xml-Sitemap gerne deaktiviert lassen. Leider schaffe es definitiv so nur, den Suchindex neu aufzubauen, wenn ich gleichzeitig auch nach defekten Links schaue. Dabei spielt es keine Rolle, ob eine xml-Sitemap angelegt/aktiviert ist, oder nicht. Dies dauert allerdings satte 4 Stunden und sorgt für ein 37 MB (!) großes debug file. Nicht schön...
Bildschirmfoto 2020-06-27 um 12.05.15.png
Der Vorgang "Suchindex aktualisieren" lässt sich sonst nur alleine starten, wenn die xml-Sitemap aktiviert ist. Im Vergleich zur bisherigen Index-Aktualisierung und Suche mussten außerdem zusätzliche Seiten auf durchsuchbar gestellt werden (die Seiten mit den Eingabe-Formularen für die Kalender-Ereigisse). Sonst geht gar nichts.
Die Seiten, die nicht durchsucht werden sollen, wurden auf "no index, no follow" gesetzt, die Seiten, die durchsucht werden sollen, wurden auf "no index, follow" gesetzt.
Ich steige da noch nicht so ganz durch, warum ich bei gleichzeitiger Suche nach defekten Links keine Sitemap benötige, sonst aber doch?! Gibt es noch eine andere Möglichkeit, auf eine Sitemap zu verzichten? Diese Vorgehensweise wird ja bei geschützten Seiten wahrscheinlich auch eine Menge Fehler (401) hervorrufen.
Lesezeichen