Broken Link Checker

[mazeh]

Hallo, ich würde gerne einen Link Check für Contao entwickeln. Soweit ich weiß gibt es dafür noch kein Modul.

Ich hätte gedacht dafür ein Backendmodul zu entwickeln, dass manuell (später villeicht auch per Cron) gestartet wird, sich dann alle veröffentlichten Seiten aus der Datenbank zieht.
Alle Links, Images usw. extrahiert und im 2.ten Schritt dann die Liste der Links abarbeitet.
Das Ergebnis kann dann in einer Liste dargestellt werden.

Gibt es für sowas Interesse? Habt Ihr Anregungen, Ideen?

Gruß

[Russe]

Interesse hätte ich daran.

[servpoint]

Die Erweiterung [ext404] Extended 404 gibt es doch schon. Man wird sogar per E-Mail informiert. Ab es is ja am besten wenn man gar keine E-Mails dazu bekommt

[Russe]

Die Erweiterung [ext404] Extended 404 gibt es doch schon …

Die wirkt sich aber nur bei einem versuchten Aufruf aus dem Frontend auf. So wie ich mazeh verstehe will er das im Backend machen, also automatisch alle Seiten prüfen.

[mccrossen]

Programmire es doch einfach, klingt auf jeden Fall gut. Damit könnte man vorher auf fehlerhafte Links prüfen.

[xchs]

Habt Ihr Anregungen, Ideen?

Fein wäre eine Auswahlmöglichkeit, ob ausschließlich interne, externe oder sowohl interne als auch externe Links und Verknüpfungen überprüft werden sollen sowie ggf. auch die Einschränkung auf bestimmte Dateiendungen (HTML-Dateien, Mediendateien, Bildressourcen usw.)...

BTW könnte man so ja auch gleichzeitig den Contao-eigenen Suchindex mit aufbauen lassen, sofern sich das Ganze dann (zukünftig) auch per Cron anstupsen liese...

[zonky]

Hallo mazeh,

ich suche sowas in aufgebohrter Form http://www.contao-community.de/showt...llte-Descri...

vielleicht kommen wir ja hier zusammen?

Gruss zonky

[bubblez]

Interesse ist auf jeden Fall vorhanden.
Ein Ansatz wäre in der Datenbank alle Textbasierten Felder nach Dateipfaden durchsuchen und diese dann testen.Gut wäre, wenn man Inserttags auflösen könnte, die z.B. eine ID oder einen Alias als Argument haben. Für contao core Tabellen und Tags könnte man dann auch konstruktive Fehlermeldungen generieren, die den Benutezr darauf hinweisen wo das Problem liegt, bzw. was er in etwa unternehmen könnte um dieses zu beheben.

[zonky]

Hi,

ich hole mal meine Wünsche in den Thread:

***

Ich möchte in Contao eine Erweiterung zur (Qualitäts-)Prüfung der Webseiten haben - ähnlich wie Xenu.

Geprüft werden soll z.B.:
* Alias bei Seiten vergeben
* Description bei Seiten ausgefüllt
* Keywords bei Seiten ausgefüllt
* Alt- und Title-Tag bei Bildern anders als scr-link und nicht leer
* tote Links, tote Dateireferenzen (intern)
* Links und URLs mit Sonderzeichen wie Umlaute oder Leerzeichen

***

Ich denke, einige Sachen können direkt in der DB abgefragt werden wie z.B. die Aliase, Description usw. - bei der Prüfung/Auflösung der Insert-Tags wird es wahrscheinlich schwieriger, da man ja mit "3th-Party-Tags" rechnen muss.

Gibt es ggf. eine Möglichkeit des temporären Renderings der Seite durch Contao? Dann wären alle "Includs" und "Inserts" sicher umgewandelt und man könnte die Seite parsen.

... wer nimmt "das Heft in die Hand?"

zonky

[mazeh]

Hallo,

ich hatte in letzter Zeit sehr viel zu tun, melde mich aber jetzt zurück.

Mein erster Gedanke war einfach alle Contao Tabellen nach href, src Attributen zu durchsuchen. Das wäre aber unvollständig (InsertTags, Templates, Ausgaben von Modulen).

Die zweite Idee war mir alle veröffentlichten Seiten generieren zu lassen und die Ausgabe dann nach Links zu parsen. Das kann aber zu unerwarteten Ergebnissen führen z.B. wenn ein Modul die Header verändert (Redirect, Refresh usw.), ein Fehler in einem Modul oder ein exit(), die() usw. das wirkt sich dann auch auf das Script, dass die Seite prüft aus, d.h. die Überprüfung/Script wird abgebrochen.

Letztendlich habe ich es so gelöst:

Ich lasse mir eine Liste aller veröffentlichten Seiten erstellen. Diese Seiten rufe ich
dann mit einem Http Request ab, für geschützte Seiten kann ein Frontend User angemeldet werden.
Jede Seite wird dann geparst, die Ergebnisse werden in eine Tabelle geschrieben und später überprüft.
Um das ganze zu beschleunigen können mehrere parallele Prozesse gestartet werden.

Am Ende der Überprüfung wird ein Report erstellt.
Die Seitenprüfung lässt sich auch als CronJob starten, die Ergebnisse werden dann als E-mail versendet.

Das ganze Script läuft auch auf Systemen die keinen Shell Zugriff haben und auch keine Möglichkeit die maximale Scriptlaufzeit zu verändern. Das war mir sehr wichtig, weil die meisten meiner Kunden hier sehr eingeschränkt sind.

Bis bald,

mazeh

[zonky]

o.k. - klingt prima

... ich habe mich in der Zwischenzeit mit "backboneit" kurz geschlossen und werde bei Ihm was in Auftrag geben - veilleicht kann man ja die Sachen zusammenführen

gruss zonky

[Nina]

Hat mittlerweile jemand einen Linkchecker für interne und externe Links (Seiten, Downloads, etc.) für Contao programmiert, den man als Redakteur starten kann?

ext404 funktioniert wohl nur, wenn jemand versucht einen Link im FE aufzurufen und ist zudem stark veraltet (nur bis 2.9.5 aktiv, geschweige denn Contao 3). Ich denke hingegen an einen Checker, den man manuell anstößt und der dann am Stück die ganze Website durchprüft.