分享好友 最新动态首页 最新动态分类 切换频道
Ambari部署Hadoop
2024-12-26 23:29

Apache Ambari项目旨在通过开发用于配置,管理和监控Apache Hadoop集群的软件来简化Hadoop管理。Ambari提供了一个直观,易用的Hadoop管理Web UI。

提供了跨任意数量的主机安装Hadoop服务的分步向导。

处理群集的Hadoop服务配置。

提供集中管理,用于在整个集群中启动,停止和重新配置Hadoop服务。

提供了一个仪表板,用于监控Hadoop集群的运行状况和状态。

利用Ambari指标系统进行指标收集。

利用Ambari Alert Framework进行系统警报,并在需要您注意时通知您(例如,节点出现故障,剩余磁盘空间不足等)。

注意:以下操作三台机器都需要进行

克隆三台虚拟机(hadoop102、hadoop103、hadoop104,配置好对应主机的网络IP、主机名称、关闭防火墙。

 
 
 

将SELINUX=enforcing改为SELINUX=disabled
执行该命令后重启机器生效

1)在hadoop102的/opt目录下创建module和software文件夹

 

2)用SecureCRT将jdk-8u144-linux-x64.tar.gz导入到hadoop102的/opt/software目录下
3)在Linux系统下的opt目录中查看软件包是否导入成功

 

4)解压JDK到/opt/module目录下

 

5)配置JDK环境变量

(1)先获取JDK路径

 

(2)打开/etc/profile文件

 

在profile文件末尾添加JDK路径

 

(3)保存后退出

 

(4)让修改后的文件生效

 

6)测试JDK是否安装成功

 

7)将hadoop102中的JDK和环境变量分发到hadoop103、hadoop104两台主机

 
 

配置hadoop102对hadoop102、hadoop103、hadoop104三台主机的免密登陆。
1)生成公钥和私钥

 

然后敲(三个回车,就会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥
2)将公钥拷贝到要免密登录的目标机器上

 
 
 
 
 
 

如果不关闭transparent_hugepage,HDFS会因为这个性能严重受影响。
关闭transparent_hugepage方法是

 

重启之后,用下面的命令检查

 

有 [never]则表示THP被禁用

设定用户所创建目录的初始权限

 
 
 

修改:enabled=0

注意:以下操作主节点操作即可

制作本地源是因为在线安装Ambari太慢。制作本地源只需在主节点上进行。

配置HTTPD 服务

配置HTTPD 服务到系统层使其随系统自动启动

 

安装工具

安装本地源制作相关工具

 

添加gpgcheck=0

将下载的3个tar包解压

 

创建本地源

 

将Ambari存储库文件下载到安装主机上的目录中

 

修改配置文件,配置为本地源

修改ambari.repo,配置为本地源

 

修改hdp-util.repo,配置为本地源

 

修改hdp.repo,配置为本地源

 

查看Ambari 与 HDP 资源的资源库。
也可以打开浏览器查看一下
http://hadoop102/ambari/centos6/
http://hadoop102/hdp/HDP/centos6/
http://hadoop102/hdp/

Ambari使用的默认数据库是PostgreSQL,用于存储安装元数据,可以使用自己安装MySQL数据库作为Ambari元数据库。
注意:一定要用root用户操作如下步骤;先卸载MySQL再安装
1)安装包准备
(1)查看MySQL是否安装

 

(2)如果安装了MySQL,就先卸载

 

(3)解压mysql-libs.zip文件到当前目录

 

(4)进入到mysql-libs文件夹下

 

2)安装MySQL服务器

(1)安装MySQL服务端

 

(2)查看产生的随机密码

 

(3)查看MySQL状态

 

(4)启动MySQL

 

3)安装MySQL客户端
(1)安装MySQL客户端

 

(2)链接MySQL

 

(3)修改密码

 

(4)退出MySQL

 

4)MySQL中user表中主机配置
配置只要是root用户+密码,在任何主机上都能登录MySQL数据库。
(1)进入MySQL

 

(2)显示数据库

 

(3)使用MySQL数据库

 

(4)展示MySQL数据库中的所有表

 

(5)展示user表的结构

 

(6)查询user表

 

(7)修改user表,把Host表内容修改为%

 

(8)删除root用户的其他host

 

(9)刷新

 

(10)退出

 
 

1)安装ambari-server

 

2) 拷贝mysql驱动
将mysql-connector-java.jar复制到/usr/share/java目录下并改名为mysql-connector-java.jar

 

将mysql-connector-java.jar复制到/var/lib/ambari-server/resources目录下并改名为mysql-jdbc-driver.jar

 

修改ambari.properties文件

 

添加

 
 

1)创建ambari库

 

2)使用Ambari自带脚本创建表

 

3)赋予用户root权限

 

4)刷新

 
 

执行

 

下面是配置执行流程,按照提示操作
1) 提示是否自定义设置。输入:y

 

2)ambari-server 账号。

 

如果直接回车就是默认选择root用户
3)设置JDK。输入:3

 

如果上面选择3自定义JDK,则需要设置JAVA_HOME。

 

4)数据库配置。选择:y

 

5)选择数据库类型。输入:3

 

6)设置数据库的具体配置信息,根据实际情况输入,如果和括号内相同,则可以直接回车。如果想重命名,就输入。

 

7)将Ambari数据库脚本导入到数据库

 

如果使用自己定义的数据库,必须在启动Ambari服务之前导入Ambari的sql脚本。

启动命令为

 

停止命令为

 
 
 

进入登录页面

浏览器输入http://hadoop102:8080/
默认管理员账目密码:admin

点击Launch Install Wizard

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-T2Gjsyfm-1603158899563)(https://www.rookiegao.top/upload/2020/04/image-755fcfef2ae945aa87f6eb5051946bf3.png)]

设置集群名称

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-W7azVECe-1603158899565)(https://www.rookiegao.top/upload/2020/04/image-7ab5ebc1fb864aec88b163cd5d59a10e.png)]

选择版本和存储库

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pUT8O4ZW-1603158899568)(https://www.rookiegao.top/upload/2020/04/image-1aeff24eef1648b987b6b170639c2cbd.png)]

填写本地库地址

在redhat6后面分别填写
http://hadoop102/hdp/HDP/centos6/
http://hadoop102/hdp/

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-X1ZdLTrG-1603158899569)(https://www.rookiegao.top/upload/2020/04/image-b59b078b8651406dbacfb2124f474b93.png)]

填写主机地址以及主节点的id.rsa文件

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pNsOUyCZ-1603158899571)(https://www.rookiegao.top/upload/2020/04/image-b8ec2e89e4d248839987d9ab65883286.png)]

等待安装

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8HHJly8I-1603158899572)(https://www.rookiegao.top/upload/2020/04/image-4266c2e0dd9442b991e485636348d702.png)]

选择服务

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SPrAYQ4O-1603158899573)(https://www.rookiegao.top/upload/2020/04/image-d6cea6871a304aa5b5d4d5facf894e8b.png)]

选择每台机器的角色

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5yu1iE6v-1603158899574)(https://www.rookiegao.top/upload/2020/04/image-59468675b6634b5a8aa2183d1f04cdb5.png)]

设置从节点

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-14ORKozf-1603158899574)(https://www.rookiegao.top/upload/2020/04/image-35e11c10abde44049645bbb96f46deba.png)]

输入两次admin

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nPiUewb4-1603158899575)(https://www.rookiegao.top/upload/2020/04/image-eefe8bb08f6a4f479ba43aa6a43d6baf.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1e640xEp-1603158899576)(https://www.rookiegao.top/upload/2020/04/image-6a5f1d33e4314507ba38ea21ac006da0.png)]

继续

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9F2GWUJX-1603158899577)(https://www.rookiegao.top/upload/2020/04/image-6113b07b522b4fb49cc5473cbedbef05.png)]

等待服务安装和启动

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FhjfK6eQ-1603158899578)(https://www.rookiegao.top/upload/2020/04/image-6f3f5fbd64fc4bc7b773bbe5519bc53e.png)]

在/path/to/mysql/目录下放置Mysql驱动,并重命名为:mysql-connector-java.jar

 

4.2.2 执行ambari-server setup

 

点击添加服务

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-J6JWAs8z-1603158899578)(https://www.rookiegao.top/upload/2020/04/image-cc3010276f944ff38841dbc51d18da49.png)]

选择hive

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HM4TTIPL-1603158899579)(https://www.rookiegao.top/upload/2020/04/image-aa2cd722fcf044ea83c9ed00f3fe0235.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lj8IWP8p-1603158899580)(https://www.rookiegao.top/upload/2020/04/image-1d824ca3c7b0408783a20ad45448797d.png)]

分配节点

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-imHgz2oW-1603158899581)(https://www.rookiegao.top/upload/2020/04/image-59fae522da2d436dbccbe17ee1d02261.png)]

分配从属和客户端

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4f7ohA3Q-1603158899583)(https://www.rookiegao.top/upload/2020/04/image-efcb5fa8560447a9a4dec92de8b547ac.png)]

配置hive数据库连接

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EgPhbXIH-1603158899584)(https://www.rookiegao.top/upload/2020/04/image-cee5c5dea12340599d86056bababcf16.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jHiZFz8h-1603158899585)(https://www.rookiegao.top/upload/2020/04/image-4a5992294a7c47a786497d34a27603dd.png)]

点击下一步

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ERZKSZoJ-1603158899586)(https://www.rookiegao.top/upload/2020/04/image-48a26d04846747319a287f00611d0ff6.png)]

等待安装

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vqDLlKlu-1603158899587)(https://www.rookiegao.top/upload/2020/04/image-f43e454b6bfa4f9ab2afb99382260b59.png)]

添加服务

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nAEOXeZq-1603158899588)(https://www.rookiegao.top/upload/2020/04/image-8af79aecd6f2438789f443e2f15e4e3a.png)]

填写nameservice名称

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EwgVfUuJ-1603158899588)(https://www.rookiegao.top/upload/2020/04/image-89533cac0c964b67928a44cb56ef4357.png)]

角色分配

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1hRRKrx9-1603158899589)(https://www.rookiegao.top/upload/2020/04/image-793106bef20b4c00828d6528e6fe675c.png)]

直接下一步

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ewxayLjg-1603158899591)(https://www.rookiegao.top/upload/2020/04/image-af02556f77fd406e85af0ff1a01cd590.png)]

安装提示执行命令

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kTlK63ac-1603158899592)(https://www.rookiegao.top/upload/2020/04/image-adc1a4a53de449d2bfdd02ba5a0323e8.png)]

安装组件

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pfiz5zRL-1603158899593)(https://www.rookiegao.top/upload/2020/04/image-179b5dba0e184d88b56c752514e863cf.png)]

根据页面提示操作

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-19VAhEJH-1603158899594)(https://www.rookiegao.top/upload/2020/04/image-108bc37ba1f841a7b427ffb0b63d0e3d.png)]

等待启动组件

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Ah7xsG0R-1603158899595)(https://www.rookiegao.top/upload/2020/04/image-f4c5e5dc1da9454a87a7c4f98ae6035e.png)]

安装页面提示初始化NameNode HA

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gHUAFWHD-1603158899595)(https://www.rookiegao.top/upload/2020/04/image-9fe714719979426b9336e626ed9413d7.png)]

等待完成

最新文章
如何搭建小程序?
随着移动互联网的普及,小程序已经成为了一种非常流行的应用方式,因为它可以在不需要下载安装的情况下提供完整的应用体验。因此,越来越多的人开始关注如何搭建小程序。下面,我们来简单介绍一下如何搭建小程序。现在,无需找app开发公司
附件上传的大小限制
IIS6 默认允许的附件最大上传大小为4M,在IIS7之前,当我们需要扩大这个上传限制时,比如需要将允许上传的附件上限设置为50M,则可以在web.config中做如下配置:system.webhttpRuntime maxRequestLength="51200" //system.web2. maxAllowed
百度怎么开户投放广告
百度怎么开户投放广告?作为中国最大的搜索引擎,百度每天都要处理数以亿计的搜索请求,这也为广告主们提供了一个广阔的广告投放平台。如何在百度上开户并投放广告,让自己的品牌和产品得到更好的曝光和推广,是许多广告主关注的问题。本文
高清美女写真生成:超简单的AI绘图工具推荐与使用指南
限时免费,点击体验最近超火的AI生图神器,坐拥3000美女的大男主就是你! https://ai.sohu.com/pc/generate/textToImg?_trans_=030001_yljdaimn 宝子们,想象一下,你在家里随便拍拍,竟能产生出超逼真的美女写真,这不是电影里的情节,而
sem竞价代运营公司主要负责哪些工作?揭秘sem代运营的核心职责!
在数字营销这片浩瀚的海洋中,SEM竞价代运营公司就像那艘稳健的航船,载着企业在波涛汹涌的市场中破浪前行。那么,这些代运营公司究竟负责哪些工作?他们又是如何助力企业实现营销目标的呢?今天,咱们就来揭秘SEM代运营的核心职责,让您对
以图搜图
点击详情进入查看更多搜图工具网站服务:常用搜索,以图搜图,识图,以图搜图,图像检索,图像识别,图片识别,图片搜索,图像搜索,识图,搜图,找图,拍图,拍照,常用推荐,常用搜索,以图搜图。百度图像搜索-领先的图像识别技术连接人
长沙NOIP信息学奥赛集训营咨询热线:   在线咨询: 点击交谈
长沙NOIP信息学奥赛信息 长沙NOIP信息学奥赛集训营是长沙青少儿教育品牌,形成了以乐高创意启蒙课程、人工智能编程、智能机器人编程、信息学奥赛编程等课程体系为核心,集国内外大型权威科技赛事、少儿资格认证考试、科技主题的国内外游学
微信小程序如何获取链接
微信小程序的链接获取是开发者在开发过程中需要注意的一个重要问题。链接是小程序中不可或缺的元素,它可以在不同页面之间进行导航和跳转,为用户提供丰富的交互体验。这篇文章将介绍如何在微信小程序中获取链接,并提供一些实用的技巧和注
阅读与写作兴趣班教学计划
阅读与写作兴趣班教学计划(通用12篇)  时间就如同白驹过隙般的流逝,前方等待着我们的是新的机遇和挑战,现在就让我们好好地规划一下吧。计划到底怎么拟定才合适呢?以下是小编为大家收集的阅读与写作兴趣班教学计划,希望对大家有所帮
【C8600360清理大师下载】华为C8600360清理大师8.4.2免费下载
清理大师:更简单,更畅快!6亿用户信赖的手机清理!清理大师是一款完全免费的手机加速与空间清理软件,强力加速使手机运行更流畅,一键清理快速解决空间不足问题。【一键清理】一键搞定无用垃圾,手机清理更省心【手机加速】瞬间释放手机
相关文章
推荐文章
发表评论
0评