百度抓取異常處理

一、網(wǎng)站異常

1、dns異常
　　當(dāng)Baiduspider無(wú)法解析您網(wǎng)站的IP時(shí)，會(huì)出現(xiàn)DNS異常?？赡苁悄木W(wǎng)站IP地址錯(cuò)誤，或者域名服務(wù)商把Baiduspider封禁。請(qǐng)使用WHOIS或者host查詢(xún)自己網(wǎng)站IP地址是否正確且可解析，如果不正確或無(wú)法解析，請(qǐng)與域名注冊(cè)商聯(lián)系，更新您的IP地址。

2、連接超時(shí)
　　抓取請(qǐng)求連接超時(shí)，可能原因服務(wù)器過(guò)載，網(wǎng)絡(luò)不穩(wěn)定

3、抓取超時(shí)
　　抓取請(qǐng)求連接建立后，下載頁(yè)面速度過(guò)慢，導(dǎo)致超時(shí)，可能原因服務(wù)器過(guò)載，帶寬不足

4、連接錯(cuò)誤
　　無(wú)法連接或者連接建立后對(duì)方服務(wù)器拒絕

二、鏈接異常

1、訪(fǎng)問(wèn)被拒絕
　　爬蟲(chóng)發(fā)起抓取，httpcode返回碼是403

2、找不到頁(yè)面
　　爬蟲(chóng)發(fā)起抓取，httpcode返回碼是404

3、服務(wù)器錯(cuò)誤
　　爬蟲(chóng)發(fā)起抓取，httpcode返回碼是5XX

4、其他錯(cuò)誤
　　爬蟲(chóng)發(fā)起抓取，httpcode返回碼是4XX，不包括403和404