Spark SQL

Spark SQL

Spark SQL允許Spark執(zhí)行用SQL, HiveQL或者Scala表示的關(guān)系查詢。這個模塊的核心是一個新類型的RDD-SchemaRDD。SchemaRDDs由行對象組成，行對象擁有一個模式（scheme）來描述行中每一列的數(shù)據(jù)類型。SchemaRDD與關(guān)系型數(shù)據(jù)庫中的表很相似?？梢酝ㄟ^存在的RDD、一個Parquet文件、一個JSON數(shù)據(jù)庫或者對存儲在Apache Hive中的數(shù)據(jù)執(zhí)行HiveSQL查詢中創(chuàng)建。

本章的所有例子都利用了Spark分布式系統(tǒng)中的樣本數(shù)據(jù)，可以在spark-shell中運行它們。

• 開始

• 數(shù)據(jù)源

• RDDs
• parquet文件
• JSON數(shù)據(jù)集

• Hive表

• 性能調(diào)優(yōu)
• 其它SQL接口
• 編寫語言集成(Language-Integrated)的相關(guān)查詢
• Spark SQL數(shù)據(jù)類型