noindex nofollow in html_header.php

[Ladenbesitzer]

Der Systrix Shop Optimizer gibt mir an, dass sehr ! viele Produkte nicht indexiert werden weil sie entweder per nofollow oder per noindex ausgeschlossen sind.
Ich habe in der originalen html_header.php folgende Einträge gefunden.
Was hat es damit auf sich?
Sollten die Einträge so belassen werden?

<?php if (defined('ROBOTS_PAGES_TO_SKIP') && in_array($current_page_base,explode(",",constant('ROBOTS_PAGES_TO_SKIP'))) || $current_page_base=='down_for_maintenance' || $robotsNoIndex === [B]true[/B]) { ?>
<meta name="robots" content="[B]noindex[/B], [B]nofollow[/B]" />

[Hawcha]

Steht ja in der "If then Schleife".
Es sorgt nur dafür, dass die Dateien, die in der Robot.txt expizit ausgeschlossen werden, auf noindex,no follow gesetzt werden.
Ruf mal ein Produkt auf und schau dir den Quelltext an ... da ist kein noindex/nofollow zu sehen.

[Ladenbesitzer]

Hi, das hier steht nicht in der If Schleife:

<meta name="robots" content="[B]noindex[/B], [B]nofollow[/B]" />

[Hawcha]

Hi, das hier steht nicht in der If Schleife

<meta name="robots" content="[B]noindex[/B], [B]nofollow[/B]" />

Doch steht drin:

<?php if (defined('ROBOTS_PAGES_TO_SKIP') && in_array($current_page_base,explode(",",constant(' ROBOTS_PAGES_TO_SKIP'))) || $current_page_base=='down_for_maintenance' || $robotsNoIndex === true) { ?>
<meta name="robots" content="noindex, nofollow" />
<?php } ?>

[Ladenbesitzer]

OK!

Ein noindex oder nofollow kann ich im Quelltext der betroffenen Produkte tatsächlich nicht erkennen.

Bist du sicher, dass es sich nur auf die robots.txt bezieht? Dann würde ich es lieber auskommentieren und die robots.txt individuell anpassen (was ich eh schon für einige Sidebox Seiten gemacht habe).

[Hawcha]

OK!

Ein noindex oder nofollow kann ich im Quelltext der betroffenen Produkte tatsächlich nicht erkennen.
Bei explizit in der robots.txt auf Disallow gesetzten Seiten sehe ich ein nofollow/noindex im Quellcode aber auch nicht (Beispiel: http://www.roller-aus-blech.de/index...age=page&id=28).

Bist du sicher, dass es sich nur auf die robots.txt bezieht? Dann würde ich es lieber auskommentieren und die robots.txt individuell anpassen (was ich eh schon für einige Sidebox Seiten gemacht habe).

Es scheint sich neben blockierten Accountseiten größtenteils um blockierte popup_image Inhalte zu handeln.
Diese würde ich eigentlich gerne zulassen, wenn nichts dagegen (Duplicate Content etc.) spricht.

Sorry ist nicht die robots.txt sondern die If Schleife zieht die Daten aus der metatags.php in der Definition ROBOTS_PAGE_TO_SKIP

Auszug aus der Datei metatags.php

Line #93 : define('ROBOTS_PAGES_TO_SKIP','login,logoff,create _account,account,account_edit,account_history,acco unt_history_info,account_newsletters,account_notif ications,account_password,address_book,advanced_se arch,advanced_search_result,checkout_success .... usw...')

[Ladenbesitzer]

Es scheint sich neben blockierten Accountseiten größtenteils um blockierte popup_image Inhalte zu handeln. Diese würde ich eigentlich gerne zulassen, wenn nichts dagegen (Duplicate Content etc.) spricht.

Ich hatte diese popup_image Inhalte mal in der robots.txt ausgeschlossen. Zur Zeit habe ich das aber nicht mehr in der robots.txt. Deswegen bin ich verwundert warum genau diese Inhalte nicht gecrawlt werden können.

Müsste bei explizit in der robots.txt auf Disallow gesetzten Seiten nicht ein nofollow/noindex im Quellcode auftauchen (Beispiel: http://www.roller-aus-blech.de/index...age=page&id=28)?

[Hawcha]

Neee, auf keinen Fall ausschließen - auch die google webmastertools fangen dann an zu meckern ...

[Ladenbesitzer]

Habe ich ja nicht mehr!
Trotzdem erscheint tausendfach dieser Fehler

Müsste bei explizit in der robots.txt auf Disallow gesetzten Seiten nicht ein nofollow/noindex im Quellcode auftauchen (Beispiel: http://www.roller-aus-blech.de/index...age=page&id=28)?

[Hawcha]

Habe ich ja nicht mehr!
Trotzdem erscheint tausendfach dieser Fehler

Müsste bei explizit in der robots.txt auf Disallow gesetzten Seiten nicht ein nofollow/noindex im Quellcode auftauchen (Beispiel: http://www.roller-aus-blech.de/index...age=page&id=28)?

Die Robots.txt setzt kein noindex,nofollow sondern sagt der Suchmaschine nur:
Stop auf dieser Seite bitte nicht in den Index aufnehmen und auch nicht grawlen, hier hast du gar nix verloren.

Das noindex,nofollow kann optional auf einzelen Seiten gesetzt werden, wenn Sie nicht sowieso schon durch die robots.txt ausgeschlossen wurde.
Und genau das macht die if Anweisung ja: Es setzt auf die betreffenden Seiten das noindex,nofollow über die Definitionen der Seiten in der metatags.php

[Hawcha]

z.b. diese popup-image Geschichte wird standartmäßig sowohl in der robots.txt als auch mit noindex/nofollow geblockt.

[Ladenbesitzer]

Wie meinst du das?
Ich habe das nicht verstanden

Ist das richtig so, dass die popup_image bei mir nicht gecrawlt werden?

[Hawcha]

Die popup images können möglicherweise in den metatags.php unter ROBOTS_PAGE_TO_SKIP als auch in der robots.txt geblockt werden. Scvhau beides mal nach.

[Ladenbesitzer]

Ich habe in der robots.txt jetzt folgende Einträge hinzugefügt:

allow: /index.php?main_page=popup_image*
allow: /?main_page=popup_image

[Hawcha]

Um die zu entsperren, solltest du die aus den metatags auch noch rausnehmen:

metatags.php (Standart)
// Define which pages to tell robots/spiders not to index
// This is generally used for account-management pages or typical SSL pages, and usually doesn't need to be touched.
define('ROBOTS_PAGES_TO_SKIP','login,logoff,create _account,account,account_edit,account_history,acco unt_history_info,account_newsletters,account_notif ications,account_password,address_book,advanced_se arch,advanced_search_result,checkout_success,check out_process,checkout_shipping,checkout_payment,che ckout_confirmation,cookie_usage,create_account_suc cess,contact_us,download,download_timeout,customer s_authorization,down_for_maintenance,password_forg otten,time_out,unsubscribe,info_shopping_cart,popup_image,popup_image_additional,product_reviews_write,ssl_check');