App下載

python爬蟲有什么實(shí)際作用

猿友 2021-01-29 14:01:26 瀏覽數(shù) (5429)
反饋

小編說:網(wǎng)絡(luò)爬蟲是一種伴隨著互聯(lián)網(wǎng)誕生與演化的"古老”的網(wǎng)絡(luò)技術(shù),隨著互聯(lián)網(wǎng)進(jìn)入大數(shù)據(jù)時(shí)代,爬蟲技術(shù)迎來了一波新的振興浪潮。 本文通過企業(yè)內(nèi)部與互聯(lián)網(wǎng)兩個(gè)場景向大家講書爬蟲發(fā)揮了哪些重要作用。本文選自《蟲術(shù)——Python絕技》一書。

在大數(shù)據(jù)架構(gòu)中,數(shù)據(jù)收集與數(shù)據(jù)存儲(chǔ)占據(jù)了極為重要的地位,可以說是大數(shù)據(jù)的核心基礎(chǔ)。而爬蟲技術(shù)在這兩大核心技術(shù)層次中占有了很大的比例。為何有此一說?我們不妨通過一個(gè)實(shí)際應(yīng)用場景來看看爬蟲到底發(fā)揮了哪些作用?

主動(dòng)——爬蟲的重點(diǎn)在于"爬取”(Crawl),這是一種主動(dòng)性的行為。換句話說,它是一個(gè)可以獨(dú)立運(yùn)行且能按照一定規(guī)則運(yùn)作的應(yīng)用程序。

自動(dòng)化——由于處理的數(shù)據(jù)可能很分散,數(shù)據(jù)的存留具有一定的時(shí)效性,所以它是一套無人值守的自動(dòng)化程序。

在我接近20年的IT從業(yè)生涯中,企業(yè)管理系統(tǒng)是我參與過的項(xiàng)目或產(chǎn)品中占比最大的。在這些項(xiàng)目與產(chǎn)品的開發(fā)過程中,我觀察到很多企業(yè)內(nèi)部其實(shí)有非常多的數(shù)據(jù)處理場景可以用爬蟲技術(shù)進(jìn)行處理,從而能以驚人的效率取代原有的人工化的操作。

以我近年來在電商企業(yè)內(nèi)部所見為例,阿里巴巴(簡稱阿里)已顯現(xiàn)出它在電子商務(wù)一統(tǒng)全球的實(shí)力與地位,幾乎可以將電商與阿里之間劃一個(gè)等號(hào)。阿里為各個(gè)店鋪和商家提供了各種各樣優(yōu)秀的運(yùn)營工具。我們會(huì)理所當(dāng)然地認(rèn)為電商企業(yè)內(nèi)部的信息化管理程度一定很高,不是嗎?然而事實(shí)恰恰相反,我見過的多數(shù)中小型的電商企業(yè)甚至是三板掛牌企業(yè)內(nèi)部的信息化水平仍然非常落后,不少企業(yè)仍然依賴Excel這樣基于大量人力為主導(dǎo)的表格處理。那么問題來了,為何阿里巴巴、京東這些電商平臺(tái)已經(jīng)提供了大量優(yōu)質(zhì)運(yùn)營工具,而電商企業(yè)的信息化水平卻很低,還需要靠勞動(dòng)密集型的方式進(jìn)行運(yùn)營呢?

首先,電商企業(yè)不會(huì)只在某一平臺(tái)上開店,通常都會(huì)在多個(gè)平臺(tái)同時(shí)開多個(gè)店鋪以拓寬市場的銷售渠道;其次,電商企業(yè)之間、電商與供貨商之間缺乏統(tǒng)一的數(shù)據(jù)交換標(biāo)準(zhǔn),通常只依賴于一些技術(shù)陳舊的 ERP 來維持日常的運(yùn)營。

電商企業(yè)通常只能通過某一平臺(tái)上提供的專用工具監(jiān)測某些產(chǎn)品的價(jià)格波動(dòng)和銷售情況,而無法全面、統(tǒng)一地了解他們所銷售的產(chǎn)品在各大平臺(tái)的具體表現(xiàn)如何。然而這樣的需求很明顯是迫切的,因?yàn)橹挥辛私怃N售數(shù)據(jù)的變化才能實(shí)時(shí)調(diào)節(jié)銷售的策略。我見過最多的做法就是企業(yè)安排一位專人從各大電商平臺(tái)中導(dǎo)出運(yùn)行的數(shù)據(jù),然后合并到 Excel 中,再進(jìn)行一番統(tǒng)計(jì),手工做出各種統(tǒng)計(jì)報(bào)表作為分析依據(jù),這種做法往往對某一個(gè)單品就得做一次!

(1)缺乏統(tǒng)一的數(shù)據(jù)來源——這是不可調(diào)和的,因?yàn)殡娚踢\(yùn)行的數(shù)據(jù)源本來就具有多樣性。

(2)結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)并存——企業(yè)間最常見的數(shù)據(jù)交互格式是Excel,交互工具是微信和QQ。

(3)一個(gè)數(shù)據(jù)存在多種時(shí)間版本——QQ或者微信上的同一個(gè)文件修改多了且重復(fù)傳會(huì)出現(xiàn)各種的 data.xlsx、data(1).xlsx…data(n).xlsx。

(4)數(shù)據(jù)結(jié)構(gòu)可能存在隨意性——Excel文件內(nèi)很少會(huì)看見用英文命名的列,甚至相同作用的列很有可能會(huì)采用不同的中文名。

(5)數(shù)據(jù)查找變得困難——在電商企業(yè)與供貨商之間要找出某個(gè)時(shí)段相同的數(shù)據(jù)副本可能是一件極為可怕的事件。

我們不妨來大膽地假設(shè)一下,如果將這些事情換成讓爬蟲去處理,那么情況會(huì)變成什么樣子呢?

(1)每天爬蟲在一個(gè)固定的時(shí)間到淘寶、京東或者其他電商平臺(tái)上自動(dòng)下載商家當(dāng)前的營業(yè)數(shù)據(jù)。

(3)從內(nèi)網(wǎng)的某臺(tái)PC的指定文件夾中下載每天從其他經(jīng)銷商發(fā)來的Excel文件,整理后保存到數(shù)據(jù)庫。

(4)發(fā)現(xiàn)某些商品庫存不足自動(dòng)生成供貨商規(guī)定格式的訂貨單,通過電子郵件發(fā)出。

(5)決策者(運(yùn)營經(jīng)理/老板)在手機(jī)或 PC 中通過數(shù)據(jù)可視化工具查看每天的數(shù)據(jù)統(tǒng)計(jì)結(jié)果,或者由爬蟲系統(tǒng)直接生成統(tǒng)計(jì)報(bào)表發(fā)到他們的郵箱中。

此時(shí)你可能會(huì)產(chǎn)生這樣的疑問:爬蟲不是單單爬取數(shù)據(jù)的嗎?為何還能處理這么多的事情呢?這還是爬蟲的技術(shù)領(lǐng)域嗎?答案是肯定的,上面這個(gè)例子是由我經(jīng)歷過的一個(gè)項(xiàng)目中的真實(shí)案例簡化而來的,爬蟲的這些行為融合了對爬取數(shù)據(jù)的后處理與Python自動(dòng)化后得到的效果。其實(shí)爬蟲能做到的事情可以更多,具體的實(shí)現(xiàn)與企業(yè)內(nèi)部的實(shí)際需求相關(guān)。而在互聯(lián)網(wǎng)中,它更像是一個(gè)具有"智能”的機(jī)器人。

企業(yè)內(nèi)網(wǎng)爬蟲只是互聯(lián)網(wǎng)爬蟲的一個(gè)小范圍的應(yīng)用,是爬蟲技術(shù)與自動(dòng)化技術(shù)的一種綜合性應(yīng)用,而且自動(dòng)化技術(shù)的占比可能會(huì)比爬蟲技術(shù)手段更多一些。


與企業(yè)爬蟲相比,互聯(lián)網(wǎng)爬蟲就顯得更為單一與常見,在這個(gè)數(shù)據(jù)唾手可得的時(shí)代,在數(shù)據(jù)中用爬蟲淘金并不鮮見。如搜索引擎本身就是"蟲術(shù)大師”,只要是它們想爬的網(wǎng)站,幾乎是沒有爬不穿的。App Store 上最火的內(nèi)容性 App 總是某些新聞?lì)惖木酆蠎?yīng)用,大多數(shù)網(wǎng)站開發(fā)者都知道那只是一個(gè)聚合了各種新聞網(wǎng)站鏈接的綜合性平臺(tái),它們的內(nèi)容也是靠"放蟲”才可能在各大新聞門戶中獲取第一手的新聞信息。更重要的是,這些新聞信息都是"免費(fèi)”的,任何一個(gè)用戶都可以輕易地從互聯(lián)網(wǎng)上獲取,這個(gè)用戶當(dāng)然也可以包括"蟲子”。

互聯(lián)網(wǎng)中存在大量如新聞資訊一類的免費(fèi)內(nèi)容,或是政府、企業(yè)、第三方機(jī)構(gòu)、團(tuán)體甚至個(gè)人共享的各種數(shù)據(jù)。例如,我們可以輕易地到氣象局的網(wǎng)站上獲取近十年某個(gè)地區(qū)的降雨量信息,或者從證券交易所獲取當(dāng)天各支股票的價(jià)格走勢,又或者到微博上獲知當(dāng)天最具有傳播性的某個(gè)事件的詳情。換句話說,只要有清晰的目標(biāo)數(shù)據(jù)源,只要你具有對數(shù)據(jù)源具有訪問的權(quán)限,那么你也可以讓爬蟲為你代勞,一次性從數(shù)據(jù)源上獲取所有你想要的數(shù)據(jù)。


要通過爬蟲順利地從互聯(lián)網(wǎng)中爬取數(shù)據(jù),那么就得了解這些數(shù)據(jù)的特質(zhì),然后采取針對性的手段才可能做到無往不利。一般來說,互聯(lián)網(wǎng)中可爬取的數(shù)據(jù)可分為以下幾種:

(1)一般性的網(wǎng)頁——符合W3C規(guī)范的網(wǎng)頁都可視為一種半結(jié)構(gòu)化的內(nèi)容,可以通過一些頁面元素分析工具從網(wǎng)頁中讀取指定數(shù)據(jù),由于網(wǎng)頁開發(fā)的自由度極大,幾乎沒有哪個(gè)網(wǎng)站的結(jié)構(gòu)是完全相同的。而且可變因素也很多,可能網(wǎng)頁讀取要通過權(quán)限的審查,或者網(wǎng)頁由客戶端的JavaScript進(jìn)行繪制才能呈現(xiàn)最終效果,甚至網(wǎng)頁可能來源于CDN,其內(nèi)容未必是最新的,只是某個(gè)網(wǎng)絡(luò)緩存的副本,等等。不過不用擔(dān)心,當(dāng)你完全掌握了蟲術(shù),這一切對你將不再是阻擋。

(2)API資源——API資源是最適合爬取的數(shù)據(jù)源(沒有之一),因?yàn)?RESTful API 都是結(jié)構(gòu)化數(shù)據(jù),會(huì)以 XML 或者 JSON 的形式進(jìn)行調(diào)用或者返回,這些數(shù)據(jù)內(nèi)容即使沒有API說明手冊一般也能讀懂。

(3)文件資源——文件資源屬于最麻煩的數(shù)據(jù)源了,除非爬取的文件是以結(jié)構(gòu)化數(shù)據(jù)格式呈現(xiàn)的,否則作為自由文本,由于是非結(jié)構(gòu)化的,我們需要對文本的內(nèi)容進(jìn)行一些后處理,要讓爬蟲"讀懂”這些文本內(nèi)容,再判斷哪些內(nèi)容是獲取的目標(biāo)。

(4)媒體資源——如圖片和視頻等,其爬取的動(dòng)作基本與文件類似,只是由于圖片與視頻等資源一般來說都比較大,可能還需要對文件的元信息進(jìn)行一些分析以判斷其是否具有爬取的價(jià)值,以避免讓爬蟲過多地消耗不必要的網(wǎng)絡(luò)流量與爬取時(shí)間。

爬蟲涉及的技術(shù)領(lǐng)域很多,運(yùn)用的技術(shù)也非常龐雜,從基本的網(wǎng)絡(luò)訪問到復(fù)雜的機(jī)器學(xué)習(xí),可能會(huì)讓初入門徑者有望而卻步的想法。為了讓大家有一個(gè)全面的認(rèn)識(shí),我們特意將初級(jí)、中級(jí)、高級(jí)三個(gè)階段中所要學(xué)習(xí)與使用的技術(shù)歸納成下圖以作參考。

互聯(lián)網(wǎng)最激烈的對抗戰(zhàn)場,除了安全專家與黑客之間,大概就是爬蟲與反爬蟲領(lǐng)域了。據(jù)統(tǒng)計(jì),爬蟲流量早已超過了人類真實(shí)訪問請求流量?;ヂ?lián)網(wǎng)充斥著形形色色的爬蟲,云上、傳統(tǒng)行業(yè)都有不同規(guī)模的用戶被爬蟲愛好者盯上,這些爬蟲從哪里來?爬取了誰的數(shù)據(jù)?數(shù)據(jù)將被用于何處? 

0 人點(diǎn)贊