為什么被robots屏蔽的網(wǎng)站還會(huì)被百度收錄？

2014-09-23　瀏覽：150

有兩種情況：第一種是對(duì)已經(jīng)收錄了的網(wǎng)頁(yè)使用robots屏蔽，老網(wǎng)頁(yè)按照robots規(guī)則的刪除時(shí)間會(huì)很長(zhǎng)，可能會(huì)造成百度沒(méi)有遵循robots規(guī)則的感覺(jué)；第二種是如果被屏蔽的網(wǎng)頁(yè)獲得了大量的外鏈，那么這個(gè)網(wǎng)頁(yè)的內(nèi)容不會(huì)被百度索引，但是這個(gè)網(wǎng)頁(yè)的URL可能會(huì)被百度收錄，多見(jiàn)于域名首頁(yè)。比如淘寶網(wǎng)，淘寶商城的大量賣(mài)家商城二級(jí)域名。如果連URL都不想被百度收錄，那么針對(duì)百度spider返回404就可以了。

上一條: 如何使我的網(wǎng)頁(yè)不被百度收錄？robots的生效時(shí)間？
下一條: 為什么站內(nèi)沒(méi)有鏈接的私密性網(wǎng)頁(yè)，或需要訪問(wèn)權(quán)限的網(wǎng)頁(yè)，也會(huì)被百度收錄？

新聞資訊

相關(guān)資訊