Die google webmastertools teigen mir sehr viele nicht crawlbare Seiten (20x so viel wie crawlbare)
Ich habe folgende Einträge in der robots.txt:
User-agent: *
Disallow: /cgi-bin/
Disallow: /images
Disallow: /index.php?main_page=popup_image*
Disallow: /?main_page=popup_image
Ist der Eintrag "Disallow: /cgi-bin/" nicht Blödsinn?
PS: Lassen sich einzelne Seiten wie Loginseite, Kontaktformular, etc. auch ausschließen?
Ich habe folgende Einträge in der robots.txt:
User-agent: *
Disallow: /cgi-bin/
Disallow: /images
Disallow: /index.php?main_page=popup_image*
Disallow: /?main_page=popup_image
Ist der Eintrag "Disallow: /cgi-bin/" nicht Blödsinn?
PS: Lassen sich einzelne Seiten wie Loginseite, Kontaktformular, etc. auch ausschließen?
Kommentar