為什么被robots屏蔽的網站還會被百度收錄？
2014-09-23 瀏覽：150
有兩種情況：第一種是對已經收錄了的網頁使用robots屏蔽，老網頁按照robots規(guī)則的刪除時間會很長，可能會造成百度沒有遵循robots規(guī)則的感覺；第二種是如果被屏蔽的網頁獲得了大量的外鏈，那么這個網頁的內容不會被百度索引，但是這個網頁的URL可能會被百度收錄，多見于域名首頁。比如淘寶網，淘寶商城的大量賣家商城二級域名。如果連URL都不想被百度收錄，那么針對百度spider返回404就可以了。
上一條: 如何使我的網頁不被百度收錄？robots的生效時間？
下一條: 為什么站內沒有鏈接的私密性網頁，或需要訪問權限的網頁，也會被百度收錄？