W3Cschool
恭喜您成為首批注冊用戶
獲得88經(jīng)驗值獎勵
與Spark類似,Spark Streaming也可以利用maven倉庫。編寫你自己的Spark Streaming程序,你需要引入下面的依賴到你的SBT或者M(jìn)aven項目中
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming_2.10</artifactId>
<version>1.2</version>
</dependency>
為了從Kafka, Flume和Kinesis這些不在Spark核心API中提供的源獲取數(shù)據(jù),我們需要添加相關(guān)的模塊spark-streaming-xyz_2.10
到依賴中。例如,一些通用的組件如下表所示:
Source | Artifact |
---|---|
Kafka | spark-streaming-kafka_2.10 |
Flume | spark-streaming-flume_2.10 |
Kinesis | spark-streaming-kinesis-asl_2.10 |
spark-streaming-twitter_2.10 | |
ZeroMQ | spark-streaming-zeromq_2.10 |
MQTT | spark-streaming-mqtt_2.10 |
為了獲取最新的列表,請訪問Apache repository
Copyright©2021 w3cschool編程獅|閩ICP備15016281號-3|閩公網(wǎng)安備35020302033924號
違法和不良信息舉報電話:173-0602-2364|舉報郵箱:jubao@eeedong.com
掃描二維碼
下載編程獅App
編程獅公眾號
聯(lián)系方式:
更多建議: