Spark Streaming性能調(diào)優(yōu)

Spark Streaming性能調(diào)優(yōu)

集群中的Spark Streaming應(yīng)用程序獲得最好的性能需要一些調(diào)整。這章將介紹幾個(gè)參數(shù)和配置，提高Spark Streaming應(yīng)用程序的性能。你需要考慮兩件事情：

• 高效地利用集群資源減少批數(shù)據(jù)的處理時(shí)間

• 設(shè)置正確的批容量（size），使數(shù)據(jù)的處理速度能夠趕上數(shù)據(jù)的接收速度

• 減少批數(shù)據(jù)的執(zhí)行時(shí)間

• 設(shè)置正確的批容量
• 內(nèi)存調(diào)優(yōu)