Spark Streaming設(shè)置正確的批容量

設(shè)置正確的批容量

為了Spark Streaming應(yīng)用程序能夠在集群中穩(wěn)定運(yùn)行，系統(tǒng)應(yīng)該能夠以足夠的速度處理接收的數(shù)據(jù)（即處理速度應(yīng)該大于或等于接收數(shù)據(jù)的速度）。這可以通過(guò)流的網(wǎng)絡(luò)UI觀察得到。批處理時(shí)間應(yīng)該小于批間隔時(shí)間。

根據(jù)流計(jì)算的性質(zhì)，批間隔時(shí)間可能顯著的影響數(shù)據(jù)處理速率，這個(gè)速率可以通過(guò)應(yīng)用程序維持?？梢钥紤]WordCountNetwork這個(gè)例子，對(duì)于一個(gè)特定的數(shù)據(jù)處理速率，系統(tǒng)可能可以每2秒打印一次單詞計(jì)數(shù)（批間隔時(shí)間為2秒），但無(wú)法每500毫秒打印一次單詞計(jì)數(shù)。所以，為了在生產(chǎn)環(huán)境中維持期望的數(shù)據(jù)處理速率，就應(yīng)該設(shè)置合適的批間隔時(shí)間(即批數(shù)據(jù)的容量)。

找出正確的批容量的一個(gè)好的辦法是用一個(gè)保守的批間隔時(shí)間（5-10,秒）和低數(shù)據(jù)速率來(lái)測(cè)試你的應(yīng)用程序。為了驗(yàn)證你的系統(tǒng)是否能滿足數(shù)據(jù)處理速率，你可以通過(guò)檢查端到端的延遲值來(lái)判斷（可以在Spark驅(qū)動(dòng)程序的log4j日志中查看"Total delay"或者利用StreamingListener接口）。如果延遲維持穩(wěn)定，那么系統(tǒng)是穩(wěn)定的。如果延遲持續(xù)增長(zhǎng)，那么系統(tǒng)無(wú)法跟上數(shù)據(jù)處理速率，是不穩(wěn)定的。你能夠嘗試著增加數(shù)據(jù)處理速率或者減少批容量來(lái)作進(jìn)一步的測(cè)試。注意，因?yàn)樗查g的數(shù)據(jù)處理速度增加導(dǎo)致延遲瞬間的增長(zhǎng)可能是正常的，只要延遲能重新回到了低值（小于批容量）。