如果說當下最熱門的語言，那非屬 python 不可。如果說 python 最火熱的方向是哪個，那么爬蟲絕對有一席之地。現(xiàn)在的許多 python 培訓課程，都喜歡拿 python 爬蟲來增加學員的學習興趣。那么，怎么用 python 爬取數(shù)據(jù)？小編接下來帶你了解一個 python 爬蟲的開發(fā)流程。
小編先放上一個示例代碼（以當當好評榜 TOP500 為例），以下介紹基于該代碼進行介紹。
import requests # 引入request庫進行頁面請求
from requests.exceptions import RequestException # 引入RequestException來捕獲request可能出現(xiàn)的異常
import re # 引入re庫來進行正則匹配
import json # 引入json 來進行json格式轉(zhuǎn)化
def get(url): # 將請求方法封裝，方便使用try語句捕捉異常
try:
response = requests.get(url) # 使用request的get方法獲取響應(yīng)流
if response.status_code == 200: # 處理響應(yīng)流，如果不是200響應(yīng)，則返回None
return response.text # 將響應(yīng)流以文本方式返回
return None
except RequestException:
return None
def parse(text): # 將正則匹配方法封裝，使代碼模塊化
pattern = re.compile('<li>.*?list_num.*?>(.*?)</div>.*?pic.*?src="(.*?)".*?/></a>.*?name"><a.*?title="('
'.*?)">.*?tuijian">(.*?)</span>.*?publisher_info.*?title="(.*?)".*?biaosheng.*?<span>('
'.*?)</span>.*?</li>', re.S) # 設(shè)定正則表達式匹配規(guī)則
items = re.findall(pattern, text) # 使用正則匹配對傳入的text文本進行正則匹配，并將匹配成功的結(jié)果保存在items
return items # 將匹配的結(jié)果返回
if __name__ == "__main__":
target_url = "http://bang.dangdang.com/books/fivestars/" # 目標爬取的頁面url
html = get(target_url) # 使用封裝好的get方法將整個目標HTML頁面爬取下來
for item in parse(html): # 使用封裝好的正則匹配方法對目標HTML進行正則匹配，然后用一個循環(huán)將結(jié)果進行處理
print(item)
# 接下來是將結(jié)果寫入txt文件的操作
with open('book.txt', 'a', encoding='UTF-8') as f:
f.write(json.dumps(item, ensure_ascii=False) + '\n') # 使用json庫的dumps方法將列表對象轉(zhuǎn)變成json對象(字符串)，然后寫入文本
f.close()
爬蟲開發(fā)第一步：網(wǎng)頁分析
爬蟲開發(fā)的第一步，是對目標網(wǎng)頁進行分析，首先要知道你需要的目標數(shù)據(jù)在哪里，這里使用開發(fā)者工具查看整個頁面結(jié)構(gòu)，發(fā)現(xiàn)目標數(shù)據(jù)在一個 ?<li>? 元素中，所以開發(fā)思路是，將這個頁面的數(shù)據(jù)獲取下來，然后獲取數(shù)據(jù)中的 ?<li>? 元素（里面的有用的數(shù)據(jù)）。
爬蟲開發(fā)第二步，數(shù)據(jù)爬取
經(jīng)過第一步的分析，我們已經(jīng)大致有了爬蟲的思路了，所以現(xiàn)在要做的，就是把這個頁面爬取下來。這時候 request 庫出場了。使用 request 的 ?get() ?方法，可以將目標頁面的 html 爬下來。得到了目標頁面的 html（代碼中將其存儲在 html 字符串中）。就可以進行接下來的操作了。
爬蟲開發(fā)第三步，數(shù)據(jù)處理
使用正則表達式，匹配代碼中的目標數(shù)據(jù)（也就是之前分析的li元素里的有用的數(shù)據(jù)）。并將其放進一個 ?items? 列表中。完成到這一步，數(shù)據(jù)的爬取分析也就基本結(jié)束了。只要將爬取的結(jié)果進行保存就可以了。
爬蟲開發(fā)第四步，數(shù)據(jù)保存
小編這里使用python自帶的文件讀寫函數(shù)，將數(shù)據(jù)以json的格式保存在一個叫 ?book.txt? 的文件中。
小結(jié)
現(xiàn)在大多數(shù)網(wǎng)頁爬蟲的開發(fā)方式基本都是上面的四步，python 的爬蟲結(jié)構(gòu)也大同小異。不過隨著更多更好的工具出現(xiàn)，以及網(wǎng)站反爬意識的加強，最新的爬蟲往往需要更好開發(fā)工具庫和更多的配置。更多爬蟲知識學習，可以前往 python課程進行學習（內(nèi)有爬蟲課程）。
注：小編警告，非法爬取網(wǎng)站數(shù)據(jù)，會對網(wǎng)站的日常運營造成一定的負擔，這種行為也是違法行為，請勿惡意爬取別人的網(wǎng)站數(shù)據(jù)，在 python 爬蟲的學習過程中也盡量少用較高次數(shù)的循環(huán)語句進行爬?。?/font>
