Contao-Summit 2026

Ankündigung

Collapse
No announcement yet.

Crawler zeigt auch defekte Links auf Drittseiten von Zielseiten des Bannermoduls an

Collapse
X
Collapse
 
  • Page of 2
  • Filter
  • Zeit
  • Show
Clear All
new posts
Vorherige 1 2 template Nächste
    #1

    Crawler zeigt auch defekte Links auf Drittseiten von Zielseiten des Bannermoduls an

    Liebe Community,

    ich nutze das Banner-Modul von bugbuster in der aktuellsten Version und stelle immer wieder fest, dass das Protokoll des Link-Checker-Logs meines Crawlers nach dem Scan nicht nur die Links meiner eigenen Homepage https://die-schreibmaus.de und der Banner meines Banner-Moduls überprüft, sondern anscheinend auch sämtliche Links von den Seiten, auf die meine Banner im Banner-Modul verweisen.
    Während die Links zu den angegebenen Zielseiten der Bannergrafiken immer fehlerfrei sind und die Links funktionieren, scheint das Protokoll aber auch alle defekten Links auszugeben, die von der Zielseite eines Banners weitere Drittseiten adressieren, zumindest scheint das bei externen Links auf Drittseiten der Fall zu sein.

    Ist das beabsichtigt? Machen das alle Crawler so? Oder liegt das an der Programmierung des Banner-Moduls?
    Vielleicht kann mich da mal jemand aufklären.

    Liebe Grüße, grashalm
    wie gut, dass es contao gibt! wie gut, dass es spooky und euch alle gibt!
    Stichworte: -
    #2
    Der Broken Link Checker testet alle Links, die auf deiner Seite gefunden werden.
    » sponsor me via GitHub or Revolut

    Comment

      #3
      hallo spooky,

      ja, das ist mir klar und das weiß ich auch. aber die links, die ich meine, tauchen nirgends auf meiner seite auf, sondern nur auf seiten, auf die ich mittels eines banners verlinke, sind also quasi nur links auf fremden seiten. er scheint also auch diese fremden seiten auf deren verlinkungen hin zu prüfen... und das finde ich seltsam... er macht also quasi mehr, als er eigentlich müsste... und das kann ich mir nicht erklären...
      wie gut, dass es contao gibt! wie gut, dass es spooky und euch alle gibt!

      Comment

        #4
        Wie sieht denn das Protokoll konkret aus, also bespielhaft eine solche Zeile in der "mehr" gecrawlt wurde und Broken Links ausgeworfen wurden.
        Contao-Dokumentation: Contao-Handbuch und Contao-Entwickler-Doku
        Contao-Online-Video-Kurse: Contao Academy
        Funktionalität erweitern: Contao-Erweiterungen

        :cool:Für Dinge die man mit HTML und CSS lösen kann, braucht man kein javascript.





        Comment

          #5
          So zum Beispiel:

          Code:
          2022-02-23 22:51:01.044768,"Contao\CoreBundle\Crawl\Escargot\Subscriber\BrokenLinkCheckerSubscriber",http://www.melhorn.de/Prosalyrik/index.htm%5CIn,https://die-schreibmaus.de/bbfebanner/banclicks/bid/16,3,,"Broken link! HTTP Status Code: 404."
          Auf die Seite http://www.melhorn.de/Prosalyrik/index.htm%5CIn wird von der Zielseite des Banners Nr. 16 (https://abenteuer-literatur.de) aus verlinkt.
          wie gut, dass es contao gibt! wie gut, dass es spooky und euch alle gibt!

          Comment

            #6
            Nein, laut log wird von https://die-schreibmaus.de/bbfebanner/banclicks/bid/16 dort hin verlinkt.
            » sponsor me via GitHub or Revolut

            Comment

              #7
              Wie ist das möglich? Als Bannerziel-URL habe ich "https://abenteuer-literatur.de/" eingegeben.
              Liegt das daran, dass ich hinter dem ".de" noch einen Slash habe, der dann einen beliebigen Link dieser Seite noch anhängt???

              All diese URLs kann er auf der Seite Abenteuer-Literatur u.a. nicht finden:

              Code:
              2022-02-23 22:51:36.933713,"Contao\CoreBundle\Crawl\Escargot\Subscriber\BrokenLinkCheckerSubscriber",http://www.zdf.de/volle-kanne/die-ruhrpottramscher-troedelfreunde-sammeln-schmueckstuecke-24217616.html,https://die-schreibmaus.de/bbfebanner/banclicks/bid/16,3,,"Broken link! HTTP Status Code: 404."	
2022-02-23 22:51:40.920538,"Contao\CoreBundle\Crawl\Escargot\Subscriber\BrokenLinkCheckerSubscriber",https://drive.google.com/open?id=1cPPxUf1WjQzluzwy47IlnQkrqBtXS_cZ,https://die-schreibmaus.de/bbfebanner/banclicks/bid/16,3,disallowed-robots-txt,"Broken link! HTTP Status Code: 404."	
2022-02-23 22:51:42.290511,"Contao\CoreBundle\Crawl\Escargot\Subscriber\BrokenLinkCheckerSubscriber",http://www.repage2.de/member/herzensfee,https://die-schreibmaus.de/bbfebanner/banclicks/bid/16,3,,"Broken link! Could not request properly: Could not resolve host: www.repage2.de for ""http://www.repage2.de/member/herzensfee"".."	
2022-02-23 22:51:42.543625,"Contao\CoreBundle\Crawl\Escargot\Subscriber\BrokenLinkCheckerSubscriber",https://abenteuer-literatur.de/unsere-autoren/b%C3%BCcher-unserer-autoren,https://die-schreibmaus.de/bbfebanner/banclicks/bid/16,3,,"Broken link! HTTP Status Code: 404."	
2022-02-23 22:51:48.974392,"Contao\CoreBundle\Crawl\Escargot\Subscriber\BrokenLinkCheckerSubscriber",http://www.kurt-blaser.magix.net/wesite/,https://die-schreibmaus.de/bbfebanner/banclicks/bid/16,3,,"Broken link! HTTP Status Code: 404."
              wie gut, dass es contao gibt! wie gut, dass es spooky und euch alle gibt!

              Comment

                #8
                Wo ist der Banner zu finden?
                » sponsor me via GitHub or Revolut

                Comment

                  #9
                  Alle Banner sind in einer einzigen Kategorie: "banner im footer" und werden im Footer meiner Seite eingebunden (https://die-schreibmaus.de).
                  wie gut, dass es contao gibt! wie gut, dass es spooky und euch alle gibt!

                  Comment

                    #10
                    Evt. ist die 301 Weiterleitung der Banner URLs das Problem. Da sich die Banner URL jederzeit ändern könnte, wäre vielleicht 302 oder 307 hier besser (das könntest du auf GitHub bei der Extension vorschlagen).

                    Zusätzlich könntest du auf GitHub bei Contao vorschlagen, dass der Crawler (oder Broken Link Checker) nicht noch weitere Links analysiert, die sich auf einer Seite nach einer 301 Weiterleitung befinden, wenn sich die 301 Zielseite nicht mehr in der selben Domain befindet.
                    » sponsor me via GitHub or Revolut

                    Comment

                      #11
                      den ersten teil deiner antwort verstehe ich noch, das könnte ich in github bei der erweiterung einbringen.
                      aber den zweiten teil verstehe ich leider nicht, das ist zu hoch für mich. könntest du da deine vermutung
                      zum link-checker eventuell an contao schreiben? wäre das möglich?
                      wie gut, dass es contao gibt! wie gut, dass es spooky und euch alle gibt!

                      Comment

                        #12
                        Zitat von grashalm Beitrag anzeigen
                        aber den zweiten teil verstehe ich leider nicht, das ist zu hoch für mich. könntest du da deine vermutung
                        zum link-checker eventuell an contao schreiben? wäre das möglich?
                        Meine Devise ist: immer die Community miteinbeziehen .

                        Es sieht so aus als würde der Crawler (oder nur der Broken Link Checker) eine "externe" Seite als "interne" Seite identifizieren (und somit alle Links dort überprüfen), wenn der Crawler per 301 Weiterleitung von einer "internen URL" dorthin gelangt ist.

                        Sprich: die Banner URL https://die-schreibmaus.de/bbfebanner/banclicks/bid/21 bspw. wird als interne Seite behandelt (obwohl die tatsächliche URL eigentlich https://www.hangklang.de/index.html lautet) und daher prüft der Broken Link Checker auch ganz normal alle unter dieser URL auftauchenden Links.

                        Oder wieder anders gesagt: bei einer permanenten Weiterleitung (= 301 Weiterleitung) ist die ursprüngliche URL gleichwertig wie die Ziel URL (was auch semantisch richtig ist).
                        Last edited by Spooky; 24.02.2022, 16:21.
                        » sponsor me via GitHub or Revolut

                        Comment

                          #13
                          Moderation: Thema in das Unterforum der Erweiterung verschoben.
                          » sponsor me via GitHub or Revolut

                          Comment

                            #14
                            Okay, das verstehe ich etwas besser. Ich will versuchen, das in Github zu melden. Danke für Deine Hilfe!
                            wie gut, dass es contao gibt! wie gut, dass es spooky und euch alle gibt!

                            Comment

                              #15
                              Im Frontend Modul gibt es die Einstellung ob man die Weiterleitung als 301 oder 302 haben will. Das gilt dann für alle Banner.
                              Grüße, BugBuster
                              "view source" is your guide.
                              Danke an alle Amazon Wunschlisten Erfüller

                              Comment

                              Vorherige 1 2 template Nächste
                              Working...
                              X