W3Cschool
恭喜您成為首批注冊(cè)用戶
獲得88經(jīng)驗(yàn)值獎(jiǎng)勵(lì)
現(xiàn)在假設(shè)我們想要使用 Spark API 寫一個(gè)獨(dú)立的應(yīng)用程序。我們將通過(guò)使用 Scala(用 SBT),Java(用 Maven) 和 Python 寫一個(gè)簡(jiǎn)單的應(yīng)用程序來(lái)學(xué)習(xí)。
我們用 Scala 創(chuàng)建一個(gè)非常簡(jiǎn)單的 Spark 應(yīng)用程序。如此簡(jiǎn)單,事實(shí)上它的名字叫 SimpleApp.scala
:
/* SimpleApp.scala */
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
object SimpleApp {
def main(args: Array[String]) {
val logFile = "YOUR_SPARK_HOME/README.md" // 應(yīng)該是你系統(tǒng)上的某些文件
val conf = new SparkConf().setAppName("Simple Application")
val sc = new SparkContext(conf)
val logData = sc.textFile(logFile, 2).cache()
val numAs = logData.filter(line => line.contains("a")).count()
val numBs = logData.filter(line => line.contains("b")).count()
println("Lines with a: %s, Lines with b: %s".format(numAs, numBs))
}
}
這個(gè)程序僅僅是在 Spark README 中計(jì)算行里面包含 'a' 和包含 'b' 的次數(shù)。你需要注意將 YOUR_SPARK_HOME
替換成你已經(jīng)安裝 Spark 的路徑。不像之前的 Spark Shell 例子,這里初始化了自己的 SparkContext,我們把 SparkContext 初始化作為程序的一部分。
我們通過(guò) SparkContext 的構(gòu)造函數(shù)參入 SparkConf 對(duì)象,這個(gè)對(duì)象包含了一些關(guān)于我們程序的信息。
我們的程序依賴于 Spark API,所以我們需要包含一個(gè) sbt 文件文件,simple.sbt
解釋了 Spark 是一個(gè)依賴。這個(gè)文件還要補(bǔ)充 Spark 依賴于一個(gè) repository:
name := "Simple Project"
version := "1.0"
scalaVersion := "2.10.4"
libraryDependencies += "org.apache.spark" %% "spark-core" % "1.2.0"
要讓 sbt 正確工作,我們需要把 SimpleApp.scala
和 simple.sbt
按照標(biāo)準(zhǔn)的文件目錄結(jié)構(gòu)布局。上面的做好之后,我們可以把程序的代碼創(chuàng)建成一個(gè) JAR 包。然后使用 spark-submit
來(lái)運(yùn)行我們的程序。
# Your directory layout should look like this
$ find .
.
./simple.sbt
./src
./src/main
./src/main/scala
./src/main/scala/SimpleApp.scala
# Package a jar containing your application
$ sbt package
...
[info] Packaging {..}/{..}/target/scala-2.10/simple-project_2.10-1.0.jar
# Use spark-submit to run your application
$ YOUR_SPARK_HOME/bin/spark-submit \
--class "SimpleApp" \
--master local[4] \
target/scala-2.10/simple-project_2.10-1.0.jar
...
Lines with a: 46, Lines with b: 23
Copyright©2021 w3cschool編程獅|閩ICP備15016281號(hào)-3|閩公網(wǎng)安備35020302033924號(hào)
違法和不良信息舉報(bào)電話:173-0602-2364|舉報(bào)郵箱:jubao@eeedong.com
掃描二維碼
下載編程獅App
編程獅公眾號(hào)
聯(lián)系方式:
更多建議: