当前位置: 首页 > news >正文

Ambari安装Hadoop

Ambari界面安装Hadoop集群及其他的组件

Ambari的Web页面安装Hadoop

登入及定义集群名称

使用初始的:admin/admin账号登入到Ambari上,启动安装程序,之后输入集群的名称。
Ambari安装界面
定义集群名称

bigtop选择组件清单

在这一步选择默认的bigtop-3.3.0,也可根据需要自己列出清单以及将组件包上传至对应的repo上。
bigtop版本选择
这里配置的BaseUrl为之前搭建的私人仓库地址的路径。同时删除了其他的OS配置。
然后进入下一步。

配置FQDN和SSH

FQDN可按照在节点上的hosts清单去配置,如果点下一步的时候出现warring的弹窗,跳过即可。
而SSH的私钥可以在hadoop-app的root用户下~/.ssh/rsa_id获取

su - 
cat ~/.ssh/rsa_id#当然也可以将rsa_id这个私钥直接scp到本地,然后手动上传
scp ~/.ssh/rsa_id user@192.168.122.1:~\Desktop

FQDN与SSH

节点检测与组件选择

在上一步骤后,Ambari会去依据FQDN和SSH去尝试通信各节点,去确认各节点的存在。
节点出现不可连接的ERROR可通过点击红色或是黄色的标识来查看日志。

节点确认
在完成节点检查之后,需要选择自己所需的组件服务与功能,这里我选择了全部组件服务。
在选择之后,将组件服务在不同的节点上进行了简单分配。
组件选择
组件选服务分配
hadoop组件

配置各组件服务

下一步,需要配置各组件的数据库连接参数与用户。将之前使用的后端数据库的地址填写至对应的位置即可。在测试连接通过后,可进行下以一个组件的配置。其他的只需要配置好密码即可。
!!!可以尝试在数据库连接工具中尝试各组件的用户的连接,尤其是mysql数据库记得配置好在mysql.user下的host,使其与部署组件服务的节点一致,否则会在安装的时候提示失败!!!
组件服务参数1
组件服务参数2
组件服务参数3

组件自动安装

在组件安装时,会将之前所选择的组件和配置添加到对应的节点。本次安装时,在自动执行dnf install 相关的命令时概率返回fail transcation,导致当次安装失败,多重试几次即可。
但重复出现相同的问题时,需要仔细查看对应节点上的错误日志,找到原因。比如:安装的时候弹出:The package hadoop-hdfs-dfsrouter is not supported by this version of the stack-select tool.
此问题在问题shooting已给出解决办法。
自动安装1
安装失败
(多次重试后,依旧报同样的错误,要仔细查看导致的原因)

安装完成

在结束上诉操作后,在启动服务时,可能会出现报错,可以根据错误日志找到具体原因,大多情况都是文件目录权限不足或是数据库的操作失败。使用acl添加权限或是调整数据库对应用户权限即可。
安装完成
(此处可见有些指标无法显示,具体解决可见问题shooting)
修复之后的界面:
指标修复

开启高可用

在HDFS和YARN中,可以在右上角的ACTION中找到对应的HA按钮,根据指引即可完成HADOOP的高可用模式。
高可用

问题shooting

安装的时候弹出:The package hadoop-hdfs-dfsrouter is not supported by this version of the stack-select tool.

引发原因:
在该结点的bigtop版本包里,没有配置hadoop-hdfs-dfsrouter

处理方法:
在/usr/lib/bigtop-select/distro-select路径下
leaves的字典中添加:"hadoop-hdfs-dfsrouter":"hadoop-hdfs",
aliases的字典中的hadoop-hdfs-server的列表中添加"hadoop-hdfs-dfsrouter"

监控面板的监控数据不全,在namenode的日志里提示:No live collector to send metrics to...

完整提示:
INFO timeline.HadoopTimelineMetricsSink (AbstractTimelineMetricsSink.java:getCurrentCollectorHost(311)) - No live collector to send metrics to. Metrics to be sent will be discarded. This message will be skipped for the next 20 times.

参考网站:
https://issues.apache.org/jira/browse/AMBARI-26435

引发原因:
jar包冲突

处理方法:
删除/usr/lib/ambari-metrics-collector/jakarta.ws.rs-api-2.1.6.jar
下载jsr311-api-1.1.1.jar
或直接从/usr/bigtop/3.3.0/usr/lib/hadoop/lib/jsr311-api-1.1.1.jar拷贝过来
至/usr/lib/ambari-metrics-collector路径下
然后重新启动ambari的组件

SOLR服务无法正常启动,页面无法正常打开

可查看对应的SOLR的日志,在/var/log/solr/solr-8983-console.log
有可能引发的原因:JDK版本不符合,关于GC的部分参数无效

解决方法:

1.降低jdk版本
2.修改GC相关的参数
在solr的Advanced的参数中修改对应的选项:

Solr GC log options:

-Xlog:gc*=info:file=gc.log:time,uptime,level,tags:filecount=15,filesize=200M

Solr GC Tune:

-XX:+UseG1GC -XX:NewRatio=3 -XX:SurvivorRatio=4 -XX:TargetSurvivorRatio=90 -XX:MaxTenuringThreshold=8 -XX:ConcGCThreads=4 -XX:ParallelGCThreads=4 -XX:+ParallelRefProcEnabled -XX:PretenureSizeThreshold=64m

solr-env template 中的GC_LOG_OPTS:

"{{solr_gc_log_opts}} -Xlog:gc:{{solr_log_dir}}/solr_gc.log"

http://www.hskmm.com/?act=detail&tid=26400

相关文章:

  • Ambari-bigtop搭建hadoop数据仓库架构
  • 安装Ambari集群
  • Python中的`namedtuple`:命名元组的用法与优势
  • 我的首页
  • 一摞python风格的纸牌
  • 记录一个ubuntu24.04蓝牙不显示不可用的解决方案
  • AI时代需要重新定义投资回报评估模型
  • MOVEit网络攻击波及普华永道与安永,供应链安全再响警钟
  • shell编程
  • Penchick Online Mathematical Olympiad, Qualifying Test 1, III.4
  • QBXT2025S刷题 Day6
  • CF2145 Educational Codeforces Round 183 (Rated for Div. 2) 游记
  • 52个AI工具
  • 可观测专题【左扬精讲】——《Go 语言实现企业级 APM 监控系统实战:从 0 到 1 搭建高性能监控平台》
  • 多区域多 VLAN 网络搭建与访问控制及服务器部署实验
  • Tina_Linux_系统软件 开发指南
  • 2025方钢、扁钢、圆钢、光轴、六角钢、异型钢、冷拉/冷拔方钢、冷拉/冷拔扁钢、冷拉/冷拔圆钢、冷拉/冷拔六角钢、冷拉/冷拔异型钢、热轧方钢/扁钢厂家权威推荐榜:坚固耐用与精准定制口碑之选
  • GO_基础2
  • LDO(一)FVF型LDO
  • 详细介绍:进阶智能体实战九、图文需求分析助手(ChatGpt多模态版)(帮你生成 模块划分+页面+表设计、状态机、工作流、ER模型)
  • 09. 常用控件
  • 201007
  • 苍穹外卖第一天(Maven、Git、Nginx反向代理)
  • Python中的数据结构
  • 2025家纺摄影公司/南通摄影公司权威推荐榜:创意拍摄与专业服务的口碑之选
  • 合成数据生成技术研讨会深度解析
  • 纯 C++ 开发的 Telegram Bot 框架
  • 六级自测
  • Python 中的链式操作——重点讲解链式调用
  • io设备概述