Apache Storm核心概念

Apache Storm從一端讀取??實時數(shù)據(jù)的原始流，并將其傳遞通過一系列小處理單元，并在另一端輸出處理/有用的信息。

下圖描述了Apache Storm的核心概念。

現(xiàn)在讓我們仔細(xì)看看Apache Storm的組件 -

讓我們來看一個“Twitter分析”的實時示例，看看如何在Apache Storm中建模。下圖描述了結(jié)構(gòu)。

“Twitter分析”的輸入來自Twitter Streaming API。Spout將使用Twitter Streaming API讀取用戶的tweets，并作為元組流輸出。來自spout的單個元組將具有twitter用戶名和單個tweet作為逗號分隔值。然后，這個元組的蒸汽將被轉(zhuǎn)發(fā)到Bolt，并且Bolt將tweet拆分成單個字，計算字?jǐn)?shù)，并將信息保存到配置的數(shù)據(jù)源。現(xiàn)在，我們可以通過查詢數(shù)據(jù)源輕松獲得結(jié)果。

拓?fù)?/h2>

Spouts和Bolts連接在一起，形成拓?fù)浣Y(jié)構(gòu)。實時應(yīng)用程序邏輯在Storm拓?fù)渲兄付?。簡單地說，拓?fù)涫怯邢驁D，其中頂點是計算，邊緣是數(shù)據(jù)流。

簡單拓?fù)鋸膕pouts開始。Spouts將數(shù)據(jù)發(fā)射到一個或多個Bolts。Bolt表示拓?fù)渲芯哂凶钚√幚磉壿嫷墓?jié)點，并且Bolts的輸出可以發(fā)射到另一個Bolts作為輸入。

Storm保持拓?fù)涫冀K運(yùn)行，直到您終止拓?fù)洹pache Storm的主要工作是運(yùn)行拓?fù)?，并在給定時間運(yùn)行任意數(shù)量的拓?fù)洹?/span>

任務(wù)

現(xiàn)在你有一個關(guān)于Spouts和Bolts的基本想法。它們是拓?fù)涞淖钚∵壿媶卧?，并且使用單個Spout和Bolt陣列構(gòu)建拓?fù)洹?span>應(yīng)以特定順序正確執(zhí)行它們，以使拓?fù)涑晒\(yùn)行。Storm執(zhí)行的每個Spout和Bolt稱為“任務(wù)”。簡單來說，任務(wù)是Spouts或Bolts的執(zhí)行。在給定時間，每個Spout和Bolt可以具有在多個單獨(dú)的螺紋中運(yùn)行的多個實例。

進(jìn)程

拓?fù)湓诙鄠€工作節(jié)點上以分布式方式運(yùn)行。Storm將所有工作節(jié)點上的任務(wù)均勻分布。工作節(jié)點的角色是監(jiān)聽作業(yè)，并在新作業(yè)到達(dá)時啟動或停止進(jìn)程。

流分組

數(shù)據(jù)流從Spouts流到Bolts，或從一個Bolts流到另一個Bolts。流分組控制元組在拓?fù)渲械穆酚煞绞?，并幫助我們了解拓?fù)渲械脑M流。有四個內(nèi)置分組，如下所述。

隨機(jī)分組

在隨機(jī)分組中，相等數(shù)量的元組隨機(jī)分布在執(zhí)行Bolts的所有工人中。下圖描述了結(jié)構(gòu)。

字段分組

元組中具有相同值的字段組合在一起，其余的元組保存在外部。然后，具有相同字段值的元組被向前發(fā)送到執(zhí)行Bolts的同一進(jìn)程。例如，如果流由字段“字”分組，則具有相同字符串“Hello”的元組將移動到相同的工作者。下圖顯示了字段分組的工作原理。

全局分組

所有流可以分組并向前到一個Bolts。此分組將源的所有實例生成的元組發(fā)送到單個目標(biāo)實例（具體來說，選擇具有最低ID的工作程序）。

所有分組

所有分組將每個元組的單個副本發(fā)送到接收Bolts的所有實例。這種分組用于向Bolts發(fā)送信號。所有分組對于連接操作都很有用。