Spark SQL其他接口

Spark SQL其它接口

Spark SQL也支持直接運行SQL查詢的接口，不用寫任何代碼。

運行Thrift JDBC/ODBC服務(wù)器

這里實現(xiàn)的Thrift JDBC/ODBC服務(wù)器與Hive 0.12中的HiveServer2相一致。你可以用在Spark或者Hive 0.12附帶的beeline腳本測試JDBC服務(wù)器。

在Spark目錄中，運行下面的命令啟動JDBC/ODBC服務(wù)器。

./sbin/start-thriftserver.sh

這個腳本接受任何的bin/spark-submit命令行參數(shù)，加上一個--hiveconf參數(shù)用來指明Hive屬性。你可以運行./sbin/start-thriftserver.sh --help來獲得所有可用選項的完整列表。默認(rèn)情況下，服務(wù)器監(jiān)聽localhost:10000。你可以用環(huán)境變量覆蓋這些變量。

export HIVE_SERVER2_THRIFT_PORT=<listening-port>
export HIVE_SERVER2_THRIFT_BIND_HOST=<listening-host>
./sbin/start-thriftserver.sh \
  --master <master-uri> \
  ...

或者通過系統(tǒng)變量覆蓋。

./sbin/start-thriftserver.sh \
  --hiveconf hive.server2.thrift.port=<listening-port> \
  --hiveconf hive.server2.thrift.bind.host=<listening-host> \
  --master <master-uri>
  ...

現(xiàn)在你可以用beeline測試Thrift JDBC/ODBC服務(wù)器。

./bin/beeline

連接到Thrift JDBC/ODBC服務(wù)器的方式如下：

beeline> !connect jdbc:hive2://localhost:10000

Beeline將會詢問你用戶名和密碼。在非安全的模式，簡單地輸入你機(jī)器的用戶名和空密碼就行了。對于安全模式，你可以按照Beeline文檔的說明來執(zhí)行。

運行Spark SQL CLI

Spark SQL CLI是一個便利的工具，它可以在本地運行Hive元存儲服務(wù)、執(zhí)行命令行輸入的查詢。注意，Spark SQL CLI不能與Thrift JDBC服務(wù)器通信。

在Spark目錄運行下面的命令可以啟動Spark SQL CLI。

./bin/spark-sql