App下載

python爬蟲(chóng)有什么實(shí)際作用

猿友 2021-01-29 14:01:26 瀏覽數(shù) (5438)
反饋

小編說(shuō):網(wǎng)絡(luò)爬蟲(chóng)是一種伴隨著互聯(lián)網(wǎng)誕生與演化的"古老”的網(wǎng)絡(luò)技術(shù),隨著互聯(lián)網(wǎng)進(jìn)入大數(shù)據(jù)時(shí)代,爬蟲(chóng)技術(shù)迎來(lái)了一波新的振興浪潮。 本文通過(guò)企業(yè)內(nèi)部與互聯(lián)網(wǎng)兩個(gè)場(chǎng)景向大家講書(shū)爬蟲(chóng)發(fā)揮了哪些重要作用。本文選自《蟲(chóng)術(shù)——Python絕技》一書(shū)。

在大數(shù)據(jù)架構(gòu)中,數(shù)據(jù)收集與數(shù)據(jù)存儲(chǔ)占據(jù)了極為重要的地位,可以說(shuō)是大數(shù)據(jù)的核心基礎(chǔ)。而爬蟲(chóng)技術(shù)在這兩大核心技術(shù)層次中占有了很大的比例。為何有此一說(shuō)?我們不妨通過(guò)一個(gè)實(shí)際應(yīng)用場(chǎng)景來(lái)看看爬蟲(chóng)到底發(fā)揮了哪些作用?

主動(dòng)——爬蟲(chóng)的重點(diǎn)在于"爬取”(Crawl),這是一種主動(dòng)性的行為。換句話說(shuō),它是一個(gè)可以獨(dú)立運(yùn)行且能按照一定規(guī)則運(yùn)作的應(yīng)用程序。

自動(dòng)化——由于處理的數(shù)據(jù)可能很分散,數(shù)據(jù)的存留具有一定的時(shí)效性,所以它是一套無(wú)人值守的自動(dòng)化程序。

在我接近20年的IT從業(yè)生涯中,企業(yè)管理系統(tǒng)是我參與過(guò)的項(xiàng)目或產(chǎn)品中占比最大的。在這些項(xiàng)目與產(chǎn)品的開(kāi)發(fā)過(guò)程中,我觀察到很多企業(yè)內(nèi)部其實(shí)有非常多的數(shù)據(jù)處理場(chǎng)景可以用爬蟲(chóng)技術(shù)進(jìn)行處理,從而能以驚人的效率取代原有的人工化的操作。

以我近年來(lái)在電商企業(yè)內(nèi)部所見(jiàn)為例,阿里巴巴(簡(jiǎn)稱阿里)已顯現(xiàn)出它在電子商務(wù)一統(tǒng)全球的實(shí)力與地位,幾乎可以將電商與阿里之間劃一個(gè)等號(hào)。阿里為各個(gè)店鋪和商家提供了各種各樣優(yōu)秀的運(yùn)營(yíng)工具。我們會(huì)理所當(dāng)然地認(rèn)為電商企業(yè)內(nèi)部的信息化管理程度一定很高,不是嗎?然而事實(shí)恰恰相反,我見(jiàn)過(guò)的多數(shù)中小型的電商企業(yè)甚至是三板掛牌企業(yè)內(nèi)部的信息化水平仍然非常落后,不少企業(yè)仍然依賴Excel這樣基于大量人力為主導(dǎo)的表格處理。那么問(wèn)題來(lái)了,為何阿里巴巴、京東這些電商平臺(tái)已經(jīng)提供了大量?jī)?yōu)質(zhì)運(yùn)營(yíng)工具,而電商企業(yè)的信息化水平卻很低,還需要靠勞動(dòng)密集型的方式進(jìn)行運(yùn)營(yíng)呢?

首先,電商企業(yè)不會(huì)只在某一平臺(tái)上開(kāi)店,通常都會(huì)在多個(gè)平臺(tái)同時(shí)開(kāi)多個(gè)店鋪以拓寬市場(chǎng)的銷售渠道;其次,電商企業(yè)之間、電商與供貨商之間缺乏統(tǒng)一的數(shù)據(jù)交換標(biāo)準(zhǔn),通常只依賴于一些技術(shù)陳舊的 ERP 來(lái)維持日常的運(yùn)營(yíng)。

電商企業(yè)通常只能通過(guò)某一平臺(tái)上提供的專用工具監(jiān)測(cè)某些產(chǎn)品的價(jià)格波動(dòng)和銷售情況,而無(wú)法全面、統(tǒng)一地了解他們所銷售的產(chǎn)品在各大平臺(tái)的具體表現(xiàn)如何。然而這樣的需求很明顯是迫切的,因?yàn)橹挥辛私怃N售數(shù)據(jù)的變化才能實(shí)時(shí)調(diào)節(jié)銷售的策略。我見(jiàn)過(guò)最多的做法就是企業(yè)安排一位專人從各大電商平臺(tái)中導(dǎo)出運(yùn)行的數(shù)據(jù),然后合并到 Excel 中,再進(jìn)行一番統(tǒng)計(jì),手工做出各種統(tǒng)計(jì)報(bào)表作為分析依據(jù),這種做法往往對(duì)某一個(gè)單品就得做一次!

(1)缺乏統(tǒng)一的數(shù)據(jù)來(lái)源——這是不可調(diào)和的,因?yàn)殡娚踢\(yùn)行的數(shù)據(jù)源本來(lái)就具有多樣性。

(2)結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)并存——企業(yè)間最常見(jiàn)的數(shù)據(jù)交互格式是Excel,交互工具是微信和QQ。

(3)一個(gè)數(shù)據(jù)存在多種時(shí)間版本——QQ或者微信上的同一個(gè)文件修改多了且重復(fù)傳會(huì)出現(xiàn)各種的 data.xlsx、data(1).xlsx…data(n).xlsx。

(4)數(shù)據(jù)結(jié)構(gòu)可能存在隨意性——Excel文件內(nèi)很少會(huì)看見(jiàn)用英文命名的列,甚至相同作用的列很有可能會(huì)采用不同的中文名。

(5)數(shù)據(jù)查找變得困難——在電商企業(yè)與供貨商之間要找出某個(gè)時(shí)段相同的數(shù)據(jù)副本可能是一件極為可怕的事件。

我們不妨來(lái)大膽地假設(shè)一下,如果將這些事情換成讓爬蟲(chóng)去處理,那么情況會(huì)變成什么樣子呢?

(1)每天爬蟲(chóng)在一個(gè)固定的時(shí)間到淘寶、京東或者其他電商平臺(tái)上自動(dòng)下載商家當(dāng)前的營(yíng)業(yè)數(shù)據(jù)。

(3)從內(nèi)網(wǎng)的某臺(tái)PC的指定文件夾中下載每天從其他經(jīng)銷商發(fā)來(lái)的Excel文件,整理后保存到數(shù)據(jù)庫(kù)。

(4)發(fā)現(xiàn)某些商品庫(kù)存不足自動(dòng)生成供貨商規(guī)定格式的訂貨單,通過(guò)電子郵件發(fā)出。

(5)決策者(運(yùn)營(yíng)經(jīng)理/老板)在手機(jī)或 PC 中通過(guò)數(shù)據(jù)可視化工具查看每天的數(shù)據(jù)統(tǒng)計(jì)結(jié)果,或者由爬蟲(chóng)系統(tǒng)直接生成統(tǒng)計(jì)報(bào)表發(fā)到他們的郵箱中。

此時(shí)你可能會(huì)產(chǎn)生這樣的疑問(wèn):爬蟲(chóng)不是單單爬取數(shù)據(jù)的嗎?為何還能處理這么多的事情呢?這還是爬蟲(chóng)的技術(shù)領(lǐng)域嗎?答案是肯定的,上面這個(gè)例子是由我經(jīng)歷過(guò)的一個(gè)項(xiàng)目中的真實(shí)案例簡(jiǎn)化而來(lái)的,爬蟲(chóng)的這些行為融合了對(duì)爬取數(shù)據(jù)的后處理與Python自動(dòng)化后得到的效果。其實(shí)爬蟲(chóng)能做到的事情可以更多,具體的實(shí)現(xiàn)與企業(yè)內(nèi)部的實(shí)際需求相關(guān)。而在互聯(lián)網(wǎng)中,它更像是一個(gè)具有"智能”的機(jī)器人。

企業(yè)內(nèi)網(wǎng)爬蟲(chóng)只是互聯(lián)網(wǎng)爬蟲(chóng)的一個(gè)小范圍的應(yīng)用,是爬蟲(chóng)技術(shù)與自動(dòng)化技術(shù)的一種綜合性應(yīng)用,而且自動(dòng)化技術(shù)的占比可能會(huì)比爬蟲(chóng)技術(shù)手段更多一些。


與企業(yè)爬蟲(chóng)相比,互聯(lián)網(wǎng)爬蟲(chóng)就顯得更為單一與常見(jiàn),在這個(gè)數(shù)據(jù)唾手可得的時(shí)代,在數(shù)據(jù)中用爬蟲(chóng)淘金并不鮮見(jiàn)。如搜索引擎本身就是"蟲(chóng)術(shù)大師”,只要是它們想爬的網(wǎng)站,幾乎是沒(méi)有爬不穿的。App Store 上最火的內(nèi)容性 App 總是某些新聞?lì)惖木酆蠎?yīng)用,大多數(shù)網(wǎng)站開(kāi)發(fā)者都知道那只是一個(gè)聚合了各種新聞網(wǎng)站鏈接的綜合性平臺(tái),它們的內(nèi)容也是靠"放蟲(chóng)”才可能在各大新聞門戶中獲取第一手的新聞信息。更重要的是,這些新聞信息都是"免費(fèi)”的,任何一個(gè)用戶都可以輕易地從互聯(lián)網(wǎng)上獲取,這個(gè)用戶當(dāng)然也可以包括"蟲(chóng)子”。

互聯(lián)網(wǎng)中存在大量如新聞資訊一類的免費(fèi)內(nèi)容,或是政府、企業(yè)、第三方機(jī)構(gòu)、團(tuán)體甚至個(gè)人共享的各種數(shù)據(jù)。例如,我們可以輕易地到氣象局的網(wǎng)站上獲取近十年某個(gè)地區(qū)的降雨量信息,或者從證券交易所獲取當(dāng)天各支股票的價(jià)格走勢(shì),又或者到微博上獲知當(dāng)天最具有傳播性的某個(gè)事件的詳情。換句話說(shuō),只要有清晰的目標(biāo)數(shù)據(jù)源,只要你具有對(duì)數(shù)據(jù)源具有訪問(wèn)的權(quán)限,那么你也可以讓爬蟲(chóng)為你代勞,一次性從數(shù)據(jù)源上獲取所有你想要的數(shù)據(jù)。


要通過(guò)爬蟲(chóng)順利地從互聯(lián)網(wǎng)中爬取數(shù)據(jù),那么就得了解這些數(shù)據(jù)的特質(zhì),然后采取針對(duì)性的手段才可能做到無(wú)往不利。一般來(lái)說(shuō),互聯(lián)網(wǎng)中可爬取的數(shù)據(jù)可分為以下幾種:

(1)一般性的網(wǎng)頁(yè)——符合W3C規(guī)范的網(wǎng)頁(yè)都可視為一種半結(jié)構(gòu)化的內(nèi)容,可以通過(guò)一些頁(yè)面元素分析工具從網(wǎng)頁(yè)中讀取指定數(shù)據(jù),由于網(wǎng)頁(yè)開(kāi)發(fā)的自由度極大,幾乎沒(méi)有哪個(gè)網(wǎng)站的結(jié)構(gòu)是完全相同的。而且可變因素也很多,可能網(wǎng)頁(yè)讀取要通過(guò)權(quán)限的審查,或者網(wǎng)頁(yè)由客戶端的JavaScript進(jìn)行繪制才能呈現(xiàn)最終效果,甚至網(wǎng)頁(yè)可能來(lái)源于CDN,其內(nèi)容未必是最新的,只是某個(gè)網(wǎng)絡(luò)緩存的副本,等等。不過(guò)不用擔(dān)心,當(dāng)你完全掌握了蟲(chóng)術(shù),這一切對(duì)你將不再是阻擋。

(2)API資源——API資源是最適合爬取的數(shù)據(jù)源(沒(méi)有之一),因?yàn)?RESTful API 都是結(jié)構(gòu)化數(shù)據(jù),會(huì)以 XML 或者 JSON 的形式進(jìn)行調(diào)用或者返回,這些數(shù)據(jù)內(nèi)容即使沒(méi)有API說(shuō)明手冊(cè)一般也能讀懂。

(3)文件資源——文件資源屬于最麻煩的數(shù)據(jù)源了,除非爬取的文件是以結(jié)構(gòu)化數(shù)據(jù)格式呈現(xiàn)的,否則作為自由文本,由于是非結(jié)構(gòu)化的,我們需要對(duì)文本的內(nèi)容進(jìn)行一些后處理,要讓爬蟲(chóng)"讀懂”這些文本內(nèi)容,再判斷哪些內(nèi)容是獲取的目標(biāo)。

(4)媒體資源——如圖片和視頻等,其爬取的動(dòng)作基本與文件類似,只是由于圖片與視頻等資源一般來(lái)說(shuō)都比較大,可能還需要對(duì)文件的元信息進(jìn)行一些分析以判斷其是否具有爬取的價(jià)值,以避免讓爬蟲(chóng)過(guò)多地消耗不必要的網(wǎng)絡(luò)流量與爬取時(shí)間。

爬蟲(chóng)涉及的技術(shù)領(lǐng)域很多,運(yùn)用的技術(shù)也非常龐雜,從基本的網(wǎng)絡(luò)訪問(wèn)到復(fù)雜的機(jī)器學(xué)習(xí),可能會(huì)讓初入門徑者有望而卻步的想法。為了讓大家有一個(gè)全面的認(rèn)識(shí),我們特意將初級(jí)、中級(jí)、高級(jí)三個(gè)階段中所要學(xué)習(xí)與使用的技術(shù)歸納成下圖以作參考。

互聯(lián)網(wǎng)最激烈的對(duì)抗戰(zhàn)場(chǎng),除了安全專家與黑客之間,大概就是爬蟲(chóng)與反爬蟲(chóng)領(lǐng)域了。據(jù)統(tǒng)計(jì),爬蟲(chóng)流量早已超過(guò)了人類真實(shí)訪問(wèn)請(qǐng)求流量?;ヂ?lián)網(wǎng)充斥著形形色色的爬蟲(chóng),云上、傳統(tǒng)行業(yè)都有不同規(guī)模的用戶被爬蟲(chóng)愛(ài)好者盯上,這些爬蟲(chóng)從哪里來(lái)?爬取了誰(shuí)的數(shù)據(jù)?數(shù)據(jù)將被用于何處? 

0 人點(diǎn)贊