Pig Latin 基礎(chǔ)

Pig Latin是用于使用Apache Pig分析Hadoop中數(shù)據(jù)的語言。在本章中，我們將討論P(yáng)ig Latin的基礎(chǔ)知識(shí)，如Pig Latin語句，數(shù)據(jù)類型，通用運(yùn)算符，關(guān)系運(yùn)算符和Pig Latin UDF。

Pig Latin - 數(shù)據(jù)模型

如前面章節(jié)所討論的，Pig的數(shù)據(jù)模型是完全嵌套的。Relation是Pig Latin數(shù)據(jù)模型的最外層結(jié)構(gòu)。它是一個(gè)包其中:

• 包是元組的集合。
• 元組是有序的字段集。
• 字段是一段數(shù)據(jù)。

Pig Latin - 語句

在使用Pig Latin處理數(shù)據(jù)時(shí)，語句是基本結(jié)構(gòu)。

• 這些語句使用關(guān)系（relation），它們包括表達(dá)式（expression）和模式（schema）。

• 每個(gè)語句以分號(hào)（;）結(jié)尾。

• 我們將使用Pig Latin提供的運(yùn)算符通過語句執(zhí)行各種操作。

• 除了LOAD和STORE，在執(zhí)行所有其他操作時(shí)，Pig Latin語句采用關(guān)系作為輸入，并產(chǎn)生另一個(gè)關(guān)系作為輸出。

• 只要在Grunt shell中輸入 Load 語句，就會(huì)執(zhí)行語義檢查。要查看模式的內(nèi)容，需要使用 Dump 運(yùn)算符。只有在執(zhí)行 dump 操作后，才會(huì)執(zhí)行將數(shù)據(jù)加載到文件系統(tǒng)的MapReduce作業(yè)。

例子

下面給出一個(gè)Pig Latin語句，它將數(shù)據(jù)加載到Apache Pig中。

grunt> Student_data = LOAD 'student_data.txt' USING PigStorage(',')as 
   ( id:int, firstname:chararray, lastname:chararray, phone:chararray, city:chararray );

Pig Latin - 數(shù)據(jù)類型

下面給出的表描述了Pig Latin數(shù)據(jù)類型。

Null值

所有上述數(shù)據(jù)類型的值可以為NULL。Apache Pig以與SQL類似的方式處理空值。null可以是未知值或不存在值，它用作可選值的占位符。這些空值可以自然出現(xiàn)或者可以是操作的結(jié)果。

Pig Latin - 算術(shù)運(yùn)算符

下表描述了Pig Latin的算術(shù)運(yùn)算符。假設(shè)a = 10和b = 20。

Pig Latin - 比較運(yùn)算符

下表描述了Pig Latin的比較運(yùn)算符。

Pig Latin - 類型結(jié)構(gòu)運(yùn)算符

下表描述了Pig Latin的類型結(jié)構(gòu)運(yùn)算符。

Pig Latin - 關(guān)系運(yùn)算符

下表描述了Pig Latin的關(guān)系運(yùn)算符。