Ankündigung

Einklappen
Keine Ankündigung bisher.

Von robots.txt blockierte URLs

Einklappen
X
 
  • Filter
  • Zeit
  • Anzeigen
Alles löschen
neue Beiträge

    Von robots.txt blockierte URLs

    Hallo Forengemeinde!
    Brauch mal wieder eure Hilfe, werde nicht schlau aus dem Problem:
    Seit das Modul "Sitemap XML" installiert wurde, spinnt sich Google aus.
    Das Modul generiert die Sitemap automatisch und aktualisiert per Cron wöchentlich.
    Google erkennt die Sitemap, findet beim crawlen allerdings nichts da scheinbar durch die "robots.txt" von den Urls ausgeperrt.
    In der robots.txt steht allerdings nichts neues als vorher auch (naja, wie gewünscht wurde der Hinweis wo die Sitemap ist hinzugefügt"
    Irgendjemnd eine Idee wie ich das beheben kann???

    Fehlermeldung von Google:
    Bei Tests von URLs auf Ihrer Sitemap wurde festgestellt, dass der Zugriff auf einige URLs durch die Datei robots.txt der Website blockiert wurde. Falls Sie nicht beabsichtigen, einige der in der Sitemap enthaltenen URLs zu blockieren, überprüfen Sie bitte mit unserem robots.txt-Analysetool, ob die in Ihrer Sitemap angegebenen URLs für Googlebot zugänglich sind. Alle zugänglichen URLs werden weiterhin übermittelt.

    Meine robots.txt:
    User-agent: *
    Disallow: /cgi-bin/
    Disallow: /*zenid=
    Sitemap: http://www.e-dampfzigarette.at/sitemap.xml

    #2
    Google will Dir eigentlich nur sagen, dass sie nicht alle Seiten indizieren können, da Du bestimmte aus gutem Grund ausschließt. Wo soll da ein Fehler sein? Alles andere wird doch wunderbar aufgenommen.
    Den Parameter zenid kannst Du übrigens auch in den Google Webmaster Tools ausschließen (Crawling > URL Parameter) statt in diesem robots.txt Eintrag, das wäre sinnvoller

    Kommentar


      #3
      Danke für die Antwort!
      Hat nur einen Haken, Google crawlt zwar die Seiten, allerdings mit Fehlern!
      Und das Artikel nicht indexiert werden kann ja soooo nicht stimmen, denn das ist ja der Zweck der ganzen Übung.
      Abgesehen davon finde ich keine Info das etwas in der robots ausgesperrt ist???
      Das in 3 Wochen gerade mal 4 Seiten indexiert werden kann ja so nicht normal sein, da es vorher ja auch weit mehr waren.
      Habe jetzt mal in der robots.txt folgende Positionen erstmal entfernt, hoffe dies war kein Unfug!
      Disallow: /cgi-bin/
      Disallow: /*zenid=

      Warum?
      Google sucht: http://www.e-dampfzigarette.at/zubehoer/dampfertaschen
      Tatsächlich lautet der Originalstring allerdings:
      http://www.e-dampfzigarette.at/zubeh...941t995l3ca0p6

      Ich denke daher kommt der Fhler: Disallow: /*zenid=`(in diesem Fall wäre die Adresse ausgeschlossen und somit kann sie auch nicht indexiert werden??)

      Liege ich da richtig?


      Dann würde die Einstellung mit meinem letzten Modul (Simple SEO) in Verbindung mit Sitemap XML nicht passen!?

      Kommentar


        #4
        Wie gesagt, die zenid nicht in der robots.txt aussperren (hast Du ja eh schon entfernt, was gut ist, genauso wie den sinnlosen Eintrag zu cgi-bin) sondern in den Google Webmaster Tools unter Crawling > URL-Parameter

        Kommentar


          #5
          Super! Danke!
          Da lag ich gar nicht mal sooo schlecht!
          Werde das jetzt mal testen und danach berichten!

          Kommentar

          Info zu diesem Forenarchiv:
          Mit Release von 1.5.7 wurde die deutsche Zen Cart Version auf eine reine DIY-Lösung umgestellt.
          Für einen Support via Forum stehen keine personellen und zeitlichen Ressourcen mehr zur Verfügung.
          Dieses Supportforum bleibt im Nur-Lesen-Modus als Wissensarchiv noch online verfügbar.
          PM Funktionalität, Registrierung und Posten neuer Beiträge sind deaktiviert.
          Zugriff auf Anhänge in den Postings ist auch ohne Registrierung/Einloggen möglich.
          FAQ und Downloadbereich des Forums wurden in die neue umfangreiche Knowledgebase auf der zen-cart-pro.at Website übernommen.

          Das Development der deutschen Zen Cart Version geht wie bisher auf Github weiter.
          Wir werden auch weiterhin neue Versionen bereitstellen und die Onlinedokumentation/Knowledgebase aktualisieren.
          Fehler in der Software können auf Github als Issues gemeldet werden.
          Follow us
          aktuelle version
          Zen Cart 1.5.7h deutsch
          vom 15.04.2024
          [Download]
          Lädt...
          X