一、概述
Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,簡稱“CDH”),基于Web的用戶界面,支持大多數(shù)Hadoop組件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop。
二、安裝部署
2.1 集群架構(gòu)
序號 | IP地址 | 主機名 | 系統(tǒng)版本 |
---|---|---|---|
1 | 10.211.55.100 | zero | Centos 7.7 |
2 | 10.211.55.101 | Hadoop1 | Centos 7.7 |
3 | 10.211.55.102 | Hadoop2 | Centos 7.7 |
2.2 基礎環(huán)境配置
2.2.1 網(wǎng)絡配置
vi /etc/sysconfig/network-scripts/ifcfg-eth0
BOOTPROTO=static
ONBOOT=yes
IPADDR=10.211.55.100
NETMASK=255.255.255.0
GATEWAY=10.211.55.1
systemctl restart network.service #重啟網(wǎng)絡服務
2.2.2 禁用防火墻和SELINUX
systemctl stop firewalld
systemctl disable firewalld
vi /etc/sysconfig/selinux
SELINUX=disabled #將SELINUX的值改為disabled
reboot #重啟設備使selinux的配置生效
2.2.3 更改主機名
hostnamectl set-hostname zero
2.2.3 修改hosts
vi /etc/hosts
10.211.55.100 zero
10.211.55.101 hadoop1
10.211.55.102 hadoop2
reboot #修改完后重啟生效
2.2.4 同步時間
yum -y install ntp #安裝NPT服務
vi /etc/ntp.conf #修改配置文件
#注釋掉原有的server指向
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
#zero節(jié)點指向
server 0.cn.pool.ntp.org
server 0.asia.pool.ntp.org
server 3.asia.pool.ntp.org
server 10.211.55.100 iburst #Hadoop1/Hadoop2節(jié)點指向zero節(jié)點
ntpdate -u cn.pool.ntp.org #同步網(wǎng)絡時間
#重啟ntp服務
systemctl start ntpd
systemctl enable ntpd
hwclock --localtime -w #將系統(tǒng)時間寫入本地硬件時鐘時間
2.2.5 配置SSH免密登錄
ssh-keygen -t rsa #不輸入密碼,一路回車
ssh-copy-id hadoop1
ssh-copy-id hadoop2
#測試連通性
ssh 'zero'
ssh 'hadoop1'
ssh 'hadoop2'
2.2.6 安裝JDK
mkdir /usr/Java/ #創(chuàng)建目錄
tar -zxvf jdk1.8.0_211.tar.gz -C /usr/Java/ #解壓JDK包到指定目錄
vi /etc/profile #配置環(huán)境變量
#JAVA
export JAVA_HOME=/usr/Java/jdk1.8.0_211
export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH
source /etc/profile #使配置文件生效
java -version #查看版本信息 檢測安裝是否成功
#安裝成功后的返回信息
java version "1.8.0_211"
Java(TM) SE Runtime Environment (build 1.8.0_211-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.211-b12, mixed mode)
2.2.7 安裝MySQL(主節(jié)點安裝即可)
#查看系統(tǒng)中是否已安裝MySQL服務 如果存在則刪除MySQL及其依賴的包
rpm -qa | grep mysql
yum list installed | grep mysql
wget http://repo.mysql.com/mysql57-community-release-el7-8.noarch.rpm
rpm -ivh mysql57-community-release-el7-8.noarch.rpm
yum install mysql-server #安裝MySQL 如出現(xiàn)提示 一路y到底
安裝完畢后,運行MySQL,后在 /var/log/mysqld.log
文件中會自動生成一個隨機密碼。
service mysqld start #運行MySQL
grep "password" /var/log/mysqld.log #取得隨機密碼 用于登錄 MySQL 服務端
#返回信息如下 “6WjiI.UxuoaF”即為MySQL登陸密碼
2021-01-05T11:04:28.684402Z 1 [Note] A temporary password is generated for root@localhost: 6WjiI.UxuoaF
登錄到 MySQL 服務端并更改密碼。
/*修改密碼*/
SET PASSWORD = PASSWORD('new password');
ALTER USER 'root'@'localhost' PASSWORD EXPIRE NEVER;
flush privileges;
/*設置用戶 root 可以在任意 IP 下被訪問*/
grant all privileges on *.* to root@"%" identified by "new password";
/*設置用戶 root 可以在本地被訪問*/
grant all privileges on *.* to root@"localhost" identified by "new password";
/*刷新權限使其生效*/
flush privileges;
2.3 Cloudera Manager的安裝及部署
2.3.1 安裝Cloudera Manager
yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb #安裝第三方依賴包
mkdir -p /opt/cloudera-manager #創(chuàng)建目錄
解壓Cloudera Manager包到/opt/cloudera-manager目錄下。
tar -zvxf cloudera-manager-centos7-cm5.14.0_x86_64.tar.gz -C /opt/cloudera-manager/
2.3.2 配置Cloudera Manager
修改agent配置文件。
vi /opt/cloudera-manager/cm-5.14.0/etc/cloudera-scm-agent/config.ini
#配置文件修改如下
# Hostname of the CM server.
server_host=zero
# Port that the CM server is listening on.
server_port=7182
為CM創(chuàng)建一個專用的普通用戶 cloudera-scm。
useradd --system #表示創(chuàng)建的是系統(tǒng)用戶
--home=/opt/cloudera-manager/cm-5.14.0/run/cloudera-scm-server #指定了用戶的主目錄
--no-create-home #表示不再創(chuàng)建用戶的主目錄
--shell=/bin/false #不作為登陸用戶
--comment "Cloudera SCM User"
cloudera-scm #用戶名
配置數(shù)據(jù)庫訪問權限,添加用戶。
grant all privileges on *.* to 'temp'@'%' identified by 'password' with grant option;
flush privileges;
在主節(jié)點上執(zhí)行CM在MySQL中的初始化腳本。
mv mysql-connector-java.jar /usr/share/java/mysql-connector-java.jar
#進入初始化腳本目錄下
cd /opt/cloudera-manager/cm-5.14.0/share/cmf/schema
#運行初始化腳步
./scm_prepare_database.sh mysql -h zero -utemp -ppassword --scm-host zero scm scm scm
配置CDH源(注意下載的時候需要版本對應,el5/6/7分別對應CentOS5/6/7。)
#創(chuàng)建目錄
mkdir -p /opt/cloudera/parcel-repo #主節(jié)點
mkdir -p /opt/cloudera/parcels #所有節(jié)點
#將parcel文件移動到parcel-repo目錄下
mv CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel /opt/cloudera/parcel-repo/
#將json文件移動到parcel-repo目錄下
mv manifest.json /opt/cloudera/parcel-repo/
#重命名校驗碼文件并移動到parcel-repo目錄下
mv CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha
更改目錄所有人
chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/ #主節(jié)點
chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcels/ #所有節(jié)點
2.3.3 啟動CM進程服務
啟動server(主節(jié)點)
/opt/cloudera-manager/cm-5.14.0/etc/init.d/cloudera-scm-server start
Starting cloudera-scm-server: [ 確定 ] #成功啟動后的返回信息
啟動agent(所有節(jié)點)
/opt/cloudera-manager/cm-5.14.0/etc/init.d/cloudera-scm-agent start
Starting cloudera-scm-agent: [ 確定 ] #成功啟動后的返回信息
2.3.3 開始部署
打開http://10.211.55.100:7180/
進入CM初始界面,賬號密碼為admin
。
登陸進入勾選同意條款,點擊繼續(xù),選擇免費版本。
繼續(xù)下一步,勾選安裝主機。
群集安裝默認勾選即可,點擊繼續(xù),等待安裝完成。
點擊繼續(xù),檢查主機正確性,參照給出的信息進行修復。
點擊繼續(xù),選擇需要的服務。
點擊繼續(xù),進行角色分配。
配置數(shù)據(jù)庫,使其連接成功。
審核更改頁面直接默認,點擊繼續(xù)。
等待部署完成。
點擊繼續(xù),安裝完成。
三、錯誤&解決
#錯誤
Your password does not satisfy the current policy requirements
#解決方法
vi /etc/my.cnf #修改配置文件my.cnf
validate_password=off #關閉密碼策略設置validate_password
service mysqld restart #重啟服務
#錯誤
為CDH群集安裝指定主機無法勾選。
#解決方法
/opt/cloudera-manager/cm-5.14.0/etc/init.d/cloudera-scm-server stop #停止server
/opt/cloudera-manager/cm-5.14.0/etc/init.d/cloudera-scm-agent stop #停止agent
#刪除/opt/cloudera-manager/cm-5.14.0/lib/cloudera-scm-server-db/data/目錄下內(nèi)容
rm -rf /opt/cloudera-manager/cm-5.14.0/lib/cloudera-scm-server-db/data/*
/*刪除MySQL數(shù)據(jù)庫中scm數(shù)據(jù)庫下的hosts表中的數(shù)據(jù)*/
use scm;
delete from HOSTS;
#錯誤
MainThread agent ERROR Error, CM server guid updated, expected 7cda865f-a833-40d1-9fa6-761631c74326, received e2678b78-7c5e-4703-91b6-c52e2875988c
#解決方法
rm -rf /opt/cloudera-manager/cm-5.14.0/lib/cloudera-scm-agent/cm_guid
#錯誤
ERROR Table 'scm.CM_VERSION' doesn't exist
#解決方法
vi /etc/my.cnf #修改配置文件my.cnf
lower_case_table_names = 1 #[mysqld]節(jié)點下添加
service mysqld restart #重啟服務
#錯誤
ERROR WebServerImpl:com.cloudera.server.web.cmf.search.components.SearchRepositoryManager: The server storage directory [/var/lib/cloudera-scm-server] doesn't exist.
#解決方法
mkdir /var/lib/cloudera-scm-server
chown -R cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server #創(chuàng)建目錄并加上權限
推薦好課: