Spark配置

Spark配置

Spark提供三個位置用來配置系統(tǒng)：

• Spark properties控制大部分的應(yīng)用程序參數(shù)，可以用SparkConf對象或者java系統(tǒng)屬性設(shè)置
• Environment variables可以通過每個節(jié)點(diǎn)的conf/spark-env.sh腳本設(shè)置每臺機(jī)器的設(shè)置。例如IP地址
• Logging可以通過log4j.properties配置

Spark屬性

Spark屬性控制大部分的應(yīng)用程序設(shè)置，并且為每個應(yīng)用程序分別配置它。這些屬性可以直接在SparkConf上配置，然后傳遞給SparkContext。SparkConf允許你配置一些通用的屬性（如master URL、應(yīng)用程序明）以及通過set()方法設(shè)置的任意鍵值對。例如，我們可以用如下方式創(chuàng)建一個擁有兩個線程的應(yīng)用程序。注意，我們用local[2]運(yùn)行，這意味著兩個線程-表示最小的并行度，它可以幫助我們檢測當(dāng)在分布式環(huán)境下運(yùn)行的時才出現(xiàn)的錯誤。

val conf = new SparkConf()
             .setMaster("local[2]")
             .setAppName("CountingSheep")
             .set("spark.executor.memory", "1g")
val sc = new SparkContext(conf)

注意，我們在本地模式中擁有超過1個線程。和Spark Streaming的情況一樣，我們可能需要一個線程防止任何形式的饑餓問題。

動態(tài)加載Spark屬性

在一些情況下，你可能想在SparkConf中避免硬編碼確定的配置。例如，你想用不同的master或者不同的內(nèi)存數(shù)運(yùn)行相同的應(yīng)用程序。Spark允許你簡單地創(chuàng)建一個空conf。

val sc = new SparkContext(new SparkConf())

然后你在運(yùn)行時提供值。

./bin/spark-submit --name "My app" --master local[4] --conf spark.shuffle.spill=false
  --conf "spark.executor.extraJavaOptions=-XX:+PrintGCDetails -XX:+PrintGCTimeStamps" myApp.jar

Spark shell和spark-submit工具支持兩種方式動態(tài)加載配置。第一種方式是命令行選項(xiàng)，例如--master，如上面shell顯示的那樣。spark-submit可以接受任何Spark屬性，用--conf標(biāo)記表示。但是那些參與Spark應(yīng)用程序啟動的屬性要用特定的標(biāo)記表示。運(yùn)行./bin/spark-submit --help將會顯示選項(xiàng)的整個列表。

bin/spark-submit也會從conf/spark-defaults.conf中讀取配置選項(xiàng)，這個配置文件中，每一行都包含一對以空格分開的鍵和值。例如：

spark.master            spark://5.6.7.8:7077
spark.executor.memory   512m
spark.eventLog.enabled  true
spark.serializer        org.apache.spark.serializer.KryoSerializer

任何標(biāo)簽（flags）指定的值或者在配置文件中的值將會傳遞給應(yīng)用程序，并且通過SparkConf合并這些值。在SparkConf上設(shè)置的屬性具有最高的優(yōu)先級，其次是傳遞給spark-submit或者spark-shell的屬性值，最后是spark-defaults.conf文件中的屬性值。

查看Spark屬性

在http://<driver>:4040上的應(yīng)用程序web UI在“Environment”標(biāo)簽中列出了所有的Spark屬性。這對你確保設(shè)置的屬性的正確性是很有用的。注意，只有通過spark-defaults.conf, SparkConf以及命令行直接指定的值才會顯示。對于其它的配置屬性，你可以認(rèn)為程序用到了默認(rèn)的值。

可用的屬性

控制內(nèi)部設(shè)置的大部分屬性都有合理的默認(rèn)值，一些最通用的選項(xiàng)設(shè)置如下：

應(yīng)用程序?qū)傩?/h4>

Property Name	Default	Meaning
spark.app.name	(none)	你的應(yīng)用程序的名字。這將在UI和日志數(shù)據(jù)中出現(xiàn)
spark.master	(none)	集群管理器連接的地方
spark.executor.memory	512m	每個executor進(jìn)程使用的內(nèi)存數(shù)。和JVM內(nèi)存串擁有相同的格式（如512m,2g）
spark.driver.memory	512m	driver進(jìn)程使用的內(nèi)存數(shù)
spark.driver.maxResultSize	1g	每個Spark action(如collect)所有分區(qū)的序列化結(jié)果的總大小限制。設(shè)置的值應(yīng)該不小于1m，0代表沒有限制。如果總大小超過這個限制，工作將會終止。大的限制值可能導(dǎo)致driver出現(xiàn)內(nèi)存溢出錯誤（依賴于spark.driver.memory和JVM中對象的內(nèi)存消耗）。設(shè)置合理的限制，可以避免出現(xiàn)內(nèi)存溢出錯誤。
spark.serializer	org.apache.spark.serializer.JavaSerializer	序列化對象使用的類。默認(rèn)的java序列化類可以序列化任何可序列化的java對象但是它很慢。所有我們建議用org.apache.spark.serializer.KryoSerializer
spark.kryo.classesToRegister	(none)	如果你用Kryo序列化，給定的用逗號分隔的自定義類名列表表示要注冊的類
spark.kryo.registrator	(none)	如果你用Kryo序列化，設(shè)置這個類去注冊你的自定義類。如果你需要用自定義的方式注冊你的類，那么這個屬性是有用的。否則spark.kryo.classesToRegister會更簡單。它應(yīng)該設(shè)置一個繼承自KryoRegistrator的類
spark.local.dir	/tmp	Spark中暫存空間的使用目錄。在Spark1.0以及更高的版本中，這個屬性被SPARK_LOCAL_DIRS(Standalone, Mesos)和LOCAL_DIRS(YARN)環(huán)境變量覆蓋。
spark.logConf	false	當(dāng)SparkContext啟動時，將有效的SparkConf記錄為INFO。

運(yùn)行環(huán)境

Shuffle行為(Behavior)

Spark UI

壓縮和序列化

Networking

Security

Spark Streaming

環(huán)境變量

通過環(huán)境變量配置確定的Spark設(shè)置。環(huán)境變量從Spark安裝目錄下的conf/spark-env.sh腳本讀?。ɑ蛘遷indows的conf/spark-env.cmd）。在獨(dú)立的或者M(jìn)esos模式下，這個文件可以給機(jī)器確定的信息，如主機(jī)名。當(dāng)運(yùn)行本地應(yīng)用程序或者提交腳本時，它也起作用。

注意，當(dāng)Spark安裝時，conf/spark-env.sh默認(rèn)是不存在的。你可以復(fù)制conf/spark-env.sh.template創(chuàng)建它。

可以在spark-env.sh中設(shè)置如下變量：

除了以上這些，Spark standalone cluster scripts也可以設(shè)置一些選項(xiàng)。例如每臺機(jī)器使用的核數(shù)以及最大內(nèi)存。

因?yàn)?code>spark-env.sh是shell腳本，其中的一些可以以編程方式設(shè)置。例如，你可以通過特定的網(wǎng)絡(luò)接口計算SPARK_LOCAL_IP。

配置Logging

Spark用log4j logging。你可以通過在conf目錄下添加log4j.properties文件來配置。一種方法是復(fù)制log4j.properties.template文件。