DStreams緩存或持久化

緩存或持久化

和RDD相似，DStreams也允許開發(fā)者持久化流數(shù)據(jù)到內存中。在DStream上使用persist()方法可以自動地持久化DStream中的RDD到內存中。如果DStream中的數(shù)據(jù)需要計算多次，這是非常有用的。像reduceByWindow和reduceByKeyAndWindow這種窗口操作、updateStateByKey這種基于狀態(tài)的操作，持久化是默認的，不需要開發(fā)者調用persist()方法。

例如通過網(wǎng)絡（如kafka，flume等）獲取的輸入數(shù)據(jù)流，默認的持久化策略是復制數(shù)據(jù)到兩個不同的節(jié)點以容錯。

注意，與RDD不同的是，DStreams默認持久化級別是存儲序列化數(shù)據(jù)到內存中，這將在性能調優(yōu)章節(jié)介紹。更多的信息請看rdd持久化