為什么站內(nèi)沒有鏈接的私密性網(wǎng)頁(yè)，或需要訪問權(quán)限的網(wǎng)頁(yè)，也會(huì)被百度收錄？

2014-09-23　瀏覽：150

百度spider的訪問權(quán)限和普通用戶一樣的，因此，普通用戶沒有權(quán)限訪問的內(nèi)容，spider也沒有訪問權(quán)限。之所以看上去某些訪問權(quán)限限制的內(nèi)容被百度收錄，原因有兩點(diǎn)：
（1） 該內(nèi)容在spider訪問時(shí)是沒有權(quán)限限制的，當(dāng)抓取之后，內(nèi)容的權(quán)限發(fā)生了變化。
（2） 該內(nèi)容有權(quán)限限制，但是由于網(wǎng)站安全漏洞問題，導(dǎo)致用戶可以通過某些特殊路徑直接訪問。而一旦這樣的路徑被公布在互聯(lián)網(wǎng)上，則spider就會(huì)循著這條路徑抓出受限內(nèi)容。
如果你不希望這些私密性內(nèi)容被百度收錄，一方面可以通過robots協(xié)議加以限制；另一方面，也可以通過反饋中心反饋給我們進(jìn)行解決。

上一條: 為什么被robots屏蔽的網(wǎng)站還會(huì)被百度收錄？
下一條: 百度是否支持crawl-delay，是否支持使用robots文件控制抓取頻率和時(shí)間？

新聞資訊

相關(guān)資訊