Ambari界面安装Hadoop集群及其他的组件
Ambari的Web页面安装Hadoop
登入及定义集群名称
使用初始的:admin/admin账号登入到Ambari上,启动安装程序,之后输入集群的名称。
bigtop选择组件清单
在这一步选择默认的bigtop-3.3.0,也可根据需要自己列出清单以及将组件包上传至对应的repo上。
这里配置的BaseUrl为之前搭建的私人仓库地址的路径。同时删除了其他的OS配置。
然后进入下一步。
配置FQDN和SSH
FQDN可按照在节点上的hosts清单去配置,如果点下一步的时候出现warring的弹窗,跳过即可。
而SSH的私钥可以在hadoop-app的root用户下~/.ssh/rsa_id获取
su -
cat ~/.ssh/rsa_id#当然也可以将rsa_id这个私钥直接scp到本地,然后手动上传
scp ~/.ssh/rsa_id user@192.168.122.1:~\Desktop
节点检测与组件选择
在上一步骤后,Ambari会去依据FQDN和SSH去尝试通信各节点,去确认各节点的存在。
节点出现不可连接的ERROR可通过点击红色或是黄色的标识来查看日志。
在完成节点检查之后,需要选择自己所需的组件服务与功能,这里我选择了全部组件服务。
在选择之后,将组件服务在不同的节点上进行了简单分配。
配置各组件服务
下一步,需要配置各组件的数据库连接参数与用户。将之前使用的后端数据库的地址填写至对应的位置即可。在测试连接通过后,可进行下以一个组件的配置。其他的只需要配置好密码即可。
!!!可以尝试在数据库连接工具中尝试各组件的用户的连接,尤其是mysql数据库记得配置好在mysql.user下的host,使其与部署组件服务的节点一致,否则会在安装的时候提示失败!!!
组件自动安装
在组件安装时,会将之前所选择的组件和配置添加到对应的节点。本次安装时,在自动执行dnf install 相关的命令时概率返回fail transcation,导致当次安装失败,多重试几次即可。
但重复出现相同的问题时,需要仔细查看对应节点上的错误日志,找到原因。比如:安装的时候弹出:The package hadoop-hdfs-dfsrouter is not supported by this version of the stack-select tool.
此问题在问题shooting已给出解决办法。
(多次重试后,依旧报同样的错误,要仔细查看导致的原因)
安装完成
在结束上诉操作后,在启动服务时,可能会出现报错,可以根据错误日志找到具体原因,大多情况都是文件目录权限不足或是数据库的操作失败。使用acl添加权限或是调整数据库对应用户权限即可。
(此处可见有些指标无法显示,具体解决可见问题shooting)
修复之后的界面:
开启高可用
在HDFS和YARN中,可以在右上角的ACTION中找到对应的HA按钮,根据指引即可完成HADOOP的高可用模式。
问题shooting
安装的时候弹出:The package hadoop-hdfs-dfsrouter is not supported by this version of the stack-select tool.
引发原因:
在该结点的bigtop版本包里,没有配置hadoop-hdfs-dfsrouter
处理方法:
在/usr/lib/bigtop-select/distro-select路径下
leaves的字典中添加:"hadoop-hdfs-dfsrouter":"hadoop-hdfs",
aliases的字典中的hadoop-hdfs-server的列表中添加"hadoop-hdfs-dfsrouter"
监控面板的监控数据不全,在namenode的日志里提示:No live collector to send metrics to...
完整提示:
INFO timeline.HadoopTimelineMetricsSink (AbstractTimelineMetricsSink.java:getCurrentCollectorHost(311)) - No live collector to send metrics to. Metrics to be sent will be discarded. This message will be skipped for the next 20 times.
参考网站:
https://issues.apache.org/jira/browse/AMBARI-26435
引发原因:
jar包冲突
处理方法:
删除/usr/lib/ambari-metrics-collector/jakarta.ws.rs-api-2.1.6.jar
下载jsr311-api-1.1.1.jar
或直接从/usr/bigtop/3.3.0/usr/lib/hadoop/lib/jsr311-api-1.1.1.jar拷贝过来
至/usr/lib/ambari-metrics-collector路径下
然后重新启动ambari的组件
SOLR服务无法正常启动,页面无法正常打开
可查看对应的SOLR的日志,在/var/log/solr/solr-8983-console.log
有可能引发的原因:JDK版本不符合,关于GC的部分参数无效
解决方法:
1.降低jdk版本
2.修改GC相关的参数
在solr的Advanced的参数中修改对应的选项:
Solr GC log options:
-Xlog:gc*=info:file=gc.log:time,uptime,level,tags:filecount=15,filesize=200M
Solr GC Tune:
-XX:+UseG1GC -XX:NewRatio=3 -XX:SurvivorRatio=4 -XX:TargetSurvivorRatio=90 -XX:MaxTenuringThreshold=8 -XX:ConcGCThreads=4 -XX:ParallelGCThreads=4 -XX:+ParallelRefProcEnabled -XX:PretenureSizeThreshold=64m
solr-env template 中的GC_LOG_OPTS:
"{{solr_gc_log_opts}} -Xlog:gc:{{solr_log_dir}}/solr_gc.log"