W3Cschool
恭喜您成為首批注冊用戶
獲得88經(jīng)驗值獎勵
DISTINCT 運算符用于從關(guān)系中刪除冗余(重復(fù))元組。
下面給出了 DISTINCT 運算符的語法。
grunt> Relation_name2 = DISTINCT Relatin_name1;
假設(shè)在HDFS目錄 /pig_data/ 中有一個名為 student_details.txt 的文件,如下所示。
student_details.txt
001,Rajiv,Reddy,9848022337,Hyderabad 002,siddarth,Battacharya,9848022338,Kolkata 002,siddarth,Battacharya,9848022338,Kolkata 003,Rajesh,Khanna,9848022339,Delhi 003,Rajesh,Khanna,9848022339,Delhi 004,Preethi,Agarwal,9848022330,Pune 005,Trupthi,Mohanthy,9848022336,Bhuwaneshwar 006,Archana,Mishra,9848022335,Chennai 006,Archana,Mishra,9848022335,Chennai
通過關(guān)系 student_details 將此文件加載到Pig中,如下所示。
grunt> student_details = LOAD 'hdfs://localhost:9000/pig_data/student_details.txt' USING PigStorage(',') as (id:int, firstname:chararray, lastname:chararray, phone:chararray, city:chararray);
現(xiàn)在,讓我們使用 DISTINCT 運算符從 student_details 關(guān)系中刪除冗余(重復(fù))元組,并將其另存在一個名為 distinct_data 的關(guān)系 如下所示。
grunt> distinct_data = DISTINCT student_details;
使用 DUMP 運算符驗證關(guān)系 distinct_data ,如下所示。
grunt> Dump distinct_data;
它將產(chǎn)生以下輸出,顯示關(guān)系 distinct_data 的內(nèi)容如下。
(1,Rajiv,Reddy,9848022337,Hyderabad) (2,siddarth,Battacharya,9848022338,Kolkata) (3,Rajesh,Khanna,9848022339,Delhi) (4,Preethi,Agarwal,9848022330,Pune) (5,Trupthi,Mohanthy,9848022336,Bhuwaneshwar) (6,Archana,Mishra,9848022335,Chennai)
Copyright©2021 w3cschool編程獅|閩ICP備15016281號-3|閩公網(wǎng)安備35020302033924號
違法和不良信息舉報電話:173-0602-2364|舉報郵箱:jubao@eeedong.com
掃描二維碼
下載編程獅App
編程獅公眾號
聯(lián)系方式:
更多建議: