獨立運行Spark

Spark獨立部署模式

安裝Spark獨立模式集群

安裝Spark獨立模式，你只需要將Spark的編譯版本簡單的放到集群的每個節(jié)點。你可以獲得每個穩(wěn)定版本的預編譯版本，也可以自己編譯。

手動啟動集群

你能夠通過下面的方式啟動獨立的master服務器。

./sbin/start-master.sh

一旦啟動，master將會為自己打印出spark://HOST:PORT URL，你能夠用它連接到workers或者作為"master"參數傳遞給SparkContext。你也可以在master web UI上發(fā)現這個URL，master web UI默認的地址是http://localhost:8080。

相同的，你也可以啟動一個或者多個workers或者將它們連接到master。

./bin/spark-class org.apache.spark.deploy.worker.Worker spark://IP:PORT

一旦你啟動了一個worker，查看master web UI。你可以看到新的節(jié)點列表以及節(jié)點的CPU數以及內存。

下面的配置參數可以傳遞給master和worker。

集群啟動腳本

為了用啟動腳本啟動Spark獨立集群，你應該在你的Spark目錄下建立一個名為conf/slaves的文件，這個文件必須包含所有你要啟動的Spark worker所在機器的主機名，一行一個。如果conf/slaves不存在，啟動腳本默認為單個機器（localhost），這臺機器對于測試是有用的。注意，master機器通過ssh訪問所有的worker。在默認情況下，SSH是并行運行，需要設置無密碼（采用私有密鑰）的訪問。如果你沒有設置為無密碼訪問，你可以設置環(huán)境變量SPARK_SSH_FOREGROUND，為每個worker提供密碼。

一旦你設置了這個文件，你就可以通過下面的shell腳本啟動或者停止你的集群。

• sbin/start-master.sh：在機器上啟動一個master實例
• sbin/start-slaves.sh：在每臺機器上啟動一個slave實例
• sbin/start-all.sh：同時啟動一個master實例和所有slave實例
• sbin/stop-master.sh：停止master實例
• sbin/stop-slaves.sh：停止所有slave實例
• sbin/stop-all.sh：停止master實例和所有slave實例

注意，這些腳本必須在你的Spark master運行的機器上執(zhí)行，而不是在你的本地機器上面。

你可以在conf/spark-env.sh中設置環(huán)境變量進一步配置集群。利用conf/spark-env.sh.template創(chuàng)建這個文件，然后將它復制到所有的worker機器上使設置有效。下面的設置可以起作用：

注意，啟動腳本還不支持windows。為了在windows上啟動Spark集群，需要手動啟動master和workers。

SPARK_MASTER_OPTS支持一下的系統(tǒng)屬性：

SPARK_WORKER_OPTS支持的系統(tǒng)屬性：

連接一個應用程序到集群中

為了在Spark集群中運行一個應用程序，簡單地傳遞spark://IP:PORT URL到SparkContext

為了在集群上運行一個交互式的Spark shell，運行一下命令：

./bin/spark-shell --master spark://IP:PORT

你也可以傳遞一個選項--total-executor-cores <numCores>去控制spark-shell的核數。

啟動Spark應用程序

spark-submit腳本支持最直接的提交一個Spark應用程序到集群。對于獨立部署的集群，Spark目前支持兩種部署模式。在client模式中，driver啟動進程與客戶端提交應用程序所在的進程是同一個進程。然而，在cluster模式中，driver在集群的某個worker進程中啟動，只有客戶端進程完成了提交任務，它不會等到應用程序完成就會退出。

如果你的應用程序通過Spark submit啟動，你的應用程序jar包將會自動分發(fā)到所有的worker節(jié)點。對于你的應用程序依賴的其它jar包，你應該用--jars符號指定（如--jars jar1,jar2）。

另外，cluster模式支持自動的重啟你的應用程序（如果程序一非零的退出碼退出）。為了用這個特征，當啟動應用程序時，你可以傳遞--supervise符號到spark-submit。如果你想殺死反復失敗的應用，你可以通過如下的方式：

./bin/spark-class org.apache.spark.deploy.Client kill <master url> <driver ID>

你可以在獨立部署的Master web UI（http://:8080）中找到driver ID。

資源調度

獨立部署的集群模式僅僅支持簡單的FIFO調度器。然而，為了允許多個并行的用戶，你能夠控制每個應用程序能用的最大資源數。在默認情況下，它將獲得集群的所有核，這只有在某一時刻只允許一個應用程序才有意義。你可以通過spark.cores.max在SparkConf中設置核數。

val conf = new SparkConf()
             .setMaster(...)
             .setAppName(...)
             .set("spark.cores.max", "10")
val sc = new SparkContext(conf)

另外，你可以在集群的master進程中配置spark.deploy.defaultCores來改變默認的值。在conf/spark-env.sh添加下面的行：

export SPARK_MASTER_OPTS="-Dspark.deploy.defaultCores=<value>"

這在用戶沒有配置最大核數的共享集群中是有用的。

高可用

默認情況下，獨立的調度集群對worker失敗是有彈性的（在Spark本身的范圍內是有彈性的，對丟失的工作通過轉移它到另外的worker來解決）。然而，調度器通過master去執(zhí)行調度決定，這會造成單點故障：如果master死了，新的應用程序就無法創(chuàng)建。為了避免這個，我們有兩個高可用的模式。

用ZooKeeper的備用master

利用ZooKeeper去支持領導選舉以及一些狀態(tài)存儲，你能夠在你的集群中啟動多個master，這些master連接到同一個ZooKeeper實例上。一個被選為“領導”，其它的保持備用模式。如果當前的領導死了，另一個master將會被選中，恢復老master的狀態(tài)，然后恢復調度。整個的恢復過程大概需要1到2分鐘。注意，這個恢復時間僅僅會影響調度新的應用程序-運行在失敗master中的應用程序不受影響。

配置

為了開啟這個恢復模式，你可以用下面的屬性在spark-env中設置SPARK_DAEMON_JAVA_OPTS。

可能的陷阱：如果你在集群中有多個masters，但是沒有用zookeeper正確的配置這些masters，這些masters不會發(fā)現彼此，會認為它們都是leaders。這將會造成一個不健康的集群狀態(tài)（因為所有的master都會獨立的調度）。

細節(jié)

zookeeper集群啟動之后，開啟高可用是簡單的。在相同的zookeeper配置（zookeeper URL和目錄）下，在不同的節(jié)點上簡單地啟動多個master進程。master可以隨時添加和刪除。

為了調度新的應用程序或者添加worker到集群，它需要知道當前l(fā)eader的IP地址。這可以通過簡單的傳遞一個master列表來完成。例如，你可能啟動你的SparkContext指向spark://host1:port1,host2:port2。這將造成你的SparkContext同時注冊這兩個master-如果host1死了，這個配置文件將一直是正確的，因為我們將找到新的leader-host2。

"registering with a Master"和正常操作之間有重要的區(qū)別。當啟動時，一個應用程序或者worker需要能夠發(fā)現和注冊當前的leader master。一旦它成功注冊，它就在系統(tǒng)中了。如果錯誤發(fā)生，新的leader將會接觸所有之前注冊的應用程序和worker，通知他們領導關系的變化，所以它們甚至不需要事先知道新啟動的leader的存在。

由于這個屬性的存在，新的master可以在任何時候創(chuàng)建。你唯一需要擔心的問題是新的應用程序和workers能夠發(fā)現它并將它注冊進來以防它成為leader master。

用本地文件系統(tǒng)做單節(jié)點恢復

zookeeper是生產環(huán)境下最好的選擇，但是如果你想在master死掉后重啟它，FILESYSTEM模式可以解決。當應用程序和worker注冊，它們擁有足夠的狀態(tài)寫入提供的目錄，以至于在重啟master進程時它們能夠恢復。

配置

為了開啟這個恢復模式，你可以用下面的屬性在spark-env中設置SPARK_DAEMON_JAVA_OPTS。

細節(jié)

• 這個解決方案可以和監(jiān)控器/管理器（如monit）相配合，或者僅僅通過重啟開啟手動恢復。
• 雖然文件系統(tǒng)的恢復似乎比沒有做任何恢復要好，但對于特定的開發(fā)或實驗目的，這種模式可能是次優(yōu)的。特別是，通過stop-master.sh殺掉master不會清除它的恢復狀態(tài)，所以，不管你何時啟動一個新的master，它都將進入恢復模式。這可能使啟動時間增加到1分鐘。
• 雖然它不是官方支持的方式，你也可以創(chuàng)建一個NFS目錄作為恢復目錄。如果原始的master節(jié)點完全死掉，你可以在不同的節(jié)點啟動master，它可以正確的恢復之前注冊的所有應用程序和workers。未來的應用程序會發(fā)現這個新的master。