1.1原生Hadoop的问题

1. 版本管理过于混乱
2. 部署过程较为繁琐,升级难度较大
3. 兼容性差
4. 安全性低

1.2CDH和CM(Cloudera Manager)

1. CDH(Cloudera’s Distribution Including Apache Hadoop),是Hadoop众多分中的一种，由Cloudera公司维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可以直接用于生产环境。就是Hadoop等大数据安装包的第三方版本的集合，提供了Hadoop等大数据服务的安装包。
2. CM(Cloudera Manager)提供了一个管理和监控Hadoop等大数据服务的web界面，能让我们方便安装大数据生态圈的大部分服务。

1.3Hadoop自动化部署和管理平台

主流的有Apache Ambari和Cloudera Manager，相对应的Hadoop的发行版为HDP和CDH。这种自动化部署平台的功能一般如下:

1. 提供Hadoop大数据集群
2. 管理Hadoop大数据集群
3. 监控Hadoop大数据集群

PS:HDP的公司(hortonworks)已经被CDH公司(Cloudera)收购了

1.4Cloudera Manager架构

                

1. Server：负责软件安装、配置，启动和停止服务，管理服务运行的群集。核心
2. Agent：安装在每台主机上。负责启动和停止进程，配置，监控主机。
3. Management Service：由一组执行各种监控，警报和报告功能角色的服务。图表的生成和管理
4. Database：存储配置和监视信息。
5. Cloudera Repository：软件由Cloudera 管理分布存储库。（有点类似Maven的中心仓库）；在线安装（从中心仓库拉取）和离线安装（离线库）
6. Clients：是用于与服务器进行交互的接口（API和Admin Console）

1.5CDH下载

官方下载地址:https://

1. CM下载

https:///cm6/6.3.1/redhat7/yum/RPMS/x86_64/

                    

1. CDH下载

https:///cdh6/6.3.2/parcels/

               

注意:CDH的版本一定要和CM的版本对应

使用VMware模拟多台主机，由于主机条件有限，只演示三台机器，配置如下:

2.1修改主机名(所有节点)

2.2关闭防火墙(所有节点)

2.3关闭SELinux(所有节点)

PS: 可以使用sed -i s/SELINUX=enforcing/SELINUX=disabled/g /etc/selinux/config

2.4配置IP到主机的映射(所有节点)

2.5配置免密码登录(cdh-1)

2.6设置用户最大可打开文件数，进程数，内存占用(所有节点)

2.7设置swap空间(所有节点)

Cloudera建议将交换空间设置为0，过多的交换空间会引起GC耗时的激增。

2.8关闭大页面压缩(所有节点)

将下载好的CDH包和CM的包使用sftp上传到cdh-1

3.1配置本地yum

CDH的安装包都是rpm包如果使用rpm安装方式安装起来是比较复杂的，会有很多依赖问题需要解决，就需要使用yum帮助我们解决依赖问题。

                    

1.配置centos源(cdh-1)

2.安装httpd服务（cdh-1）

http服务可以帮助我们传输文件，默认静态资源的目录为/var/www/html

3.centos源配置为http方式获取（cdh-1）

其他节点配置(cdh-1,cdh-2)

4.配置CM源

1. 移动文件安装包文件到http服务器静态文件目录(cdh-1)

1. 制作CM源生成repodata文件，需要用到createrepo这个包(cdh-1)

1. 配置yum源（所有节点）

3.2安装

                      

1.安装依赖(所有节点)

2.安装Cloudera Manager和Cloudera Agent(cdh-1)

3.安装Mariadb

                              

4.初始化管理节点(cdh-1)

1. 复制mysql的jdbc驱动包到/usr/share/java目录

需要使用sftp上传jar包到cdh-1节点上

1. 初始化数据库

5.安装agent节点

只需要在chd-2和cdh-3节点上安装

6.修改配置文件(所有节点)

修改Cloudera Agent配置文件/etc/cloudera-scm-agent/config.ini，配置server_host为主节点cdh-1

7.配置JAVA_HOME(所有节点)

3.3启动

1.启动Cloudera Manager(cdh-1)

在主节点启动Cloudera Manager

2.启动Cloudera Agent(所有节点)

可以访问http://192.168.100.10:7180用户名密码都是admin

4.1登录

                           

                           

• 选择试用版

                      

4.2配置集群

                                 

• 设置集群的名称

                          

• 选择集群主机

                     

• 配置CDH安装包

                     

• 配置CDH parcel的位置

                   

• 选择我们配置好的

                    

• 等待下载包

                    

• 检查主机性能

              

              

4.3安装Zookeeper

• 安装选项

               

                

• 选择服务安装主机

              

• 数据库配置

                

• 需要创建数据库(cdh-1)

• 测试连接

                  

• 可以配置邮件报警

                

• 安装

              

• 安装完成

              

     

问题

内存 CPU过小 配置问题

                

总结

•           安装过程还是比较简单的，只需要配置yum就可以使用yum安装
•           由于电脑的配置有限，导致出现了一些问题，内存尽量能给大一点就给大一点