合作
咨詢
幫助
建站咨詢 
- 作者：admin
- 發(fā)表時(shí)間：2022-08-19 15:35:00
- 來(lái)源：
1、網(wǎng)站部分資源不希望被百度蜘蛛訪問(wèn)該怎么做？
百度蜘蛛遵守互聯(lián)網(wǎng)robots協(xié)議。站長(zhǎng)可以更新robots.txt文件，文件中明確不希望百度蜘蛛訪問(wèn)資源或目錄等，并及時(shí)通過(guò)搜索資源平臺(tái)-【Robots】工具，提交robots文件。
需要注意，robots文件更新和提交后，搜索引擎需要逐漸完成更新，所以百度蜘蛛不是立即停止抓取網(wǎng)頁(yè)，請(qǐng)耐心等待。
2 、網(wǎng)站封禁百度蜘蛛，可能會(huì)帶來(lái)哪些影響？
網(wǎng)站資源優(yōu)質(zhì)，也沒(méi)有其他違規(guī)問(wèn)題，但是存在以下情況，可以先自查是否存在封禁百度蜘蛛的問(wèn)題，及時(shí)解除封禁（解除封禁參考QA7），等待恢復(fù)。
（1）沒(méi)有查詢到百度蜘蛛任何抓取記錄。
（2）在百度搜索中沒(méi)有得到收錄和展現(xiàn)。
（3）網(wǎng)站/目錄存在流量異常下降的情況。
（4）在搜索結(jié)果中的摘要展現(xiàn)為“存在robots封禁”字樣。
3 、如何解除封禁百度蜘蛛？
常見(jiàn)的封禁行為包括robots封禁、封禁百度UA、封禁百度IP這三種，可以逐一排查解決。
自查robots封禁
查看robots.txt文件，是否存在封禁記錄。（一般robots.txt文件放置在網(wǎng)站根目錄下。）
自查是否封禁百度UA
robots文件無(wú)異常的情況下，進(jìn)一步排查是否存在封禁百度UA情況。
第一種方法：執(zhí)行 curl --head --user-agent 'Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)' --request GET 'xxxxxxx'
注意：正常返回碼是200，其他情況為異常。
第二種方法：變更瀏覽器UA驗(yàn)證。
自查是否存在IP封禁
以上驗(yàn)證均無(wú)異常，最后進(jìn)一步排查是否存在IP級(jí)別的封禁。
常見(jiàn)的IP封禁，源自網(wǎng)站的防火墻系統(tǒng)配置，需要查看防火墻配置系統(tǒng)后臺(tái)，檢查是否存在百度蜘蛛的IP級(jí)別封禁措施。
