首页 » 技术分享 » hadoopHA配置最终篇

hadoopHA配置最终篇

　
评论关闭　774次浏览

一、启动journalnode

1.启动journal使两台namenode同步数据
在node01,02,03上启动journalnode
hadoop-daemon.sh start journalnode在这里插入图片描述再jps一下看看是否启动。在这里插入图片描述
则需要查看上图路径的日志文件，.log文件。
如果日志上显示 journalnode not format 则需要在namenode上执行
hdfs namenode -initializeSharedEdits
查看日志则是 tail -100 。。。。。。。

二、格式化namenode

随意挑一台namenode上执行
hdfs namenode –format
另一台namenode不用执行，否则clusterID变了，找不到集群了。
在这里插入图片描述

在这里插入图片描述
2.然后，启动刚刚格式化的那太namenode

hadoop-daemon.sh start namenode

在这里插入图片描述3.然后，我们要同步另一台namenode

hdfs namenode -bootstrapStandby

4…格式化zkfc

hdfs zkfc -formatZK
查看hadoop-ha是否打开，输入命令

zkChli.sh
ls /
在node02上执行zkCli.sh打开zookeeper客户端看hadoop-ha是否打开

在这里插入图片描述

三、初次启动集群

1.在node01上启动hdfs集群：start-dfs.sh

在这里插入图片描述在这里插入图片描述在这里插入图片描述关闭集群命令：stop-dfs.sh
关闭zookeeper命令：zkServer.sh stop

四、配置文件

1.复制mapred-site.xml.template
cp mapred-site.xml.template mapred-site.xml
在mapred-site.xml里添加如下property

mapreduce.framework.name
yarn

在这里插入图片描述
在这里插入图片描述
2.在yarn-site.xml里添加如下property，里面有内容的不能删

   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>
<property>
   <name>yarn.resourcemanager.ha.enabled</name>
   <value>true</value>
 </property>
 <property>
   <name>yarn.resourcemanager.cluster-id</name>
   <value>cluster1</value>
 </property>
<property>
   <name>yarn.resourcemanager.ha.rm-ids</name>
   <value>rm1,rm2</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm1</name>
   <value>node03</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm2</name>
   <value>node04</value>
 </property>
 <property>
   <name>yarn.resourcemanager.zk-address</name>
   <value>node02:2181,node03:2181,node04:2181</value>

开头加上 < property>

ps:去掉中间的空格

最后加上 < /property>

在这里插入图片描述3.
把mapred-site.xml和yarn-site.xml 分发到node02、03、04
scp mapred-site.xml yarn-site.xml node02:pwd
scp mapred-site.xml yarn-site.xml node03:pwd
scp mapred-site.xml yarn-site.xml node04:pwd
4.
在浏览器访问node03:8088，查看resourcemanager管理的内容
在这里插入图片描述
5.hadoop高可用安装以及配置完成，退出时需关闭集群和虚拟机

启动集群

1.启动zookeeper，全部会话zkServer.sh start
2.在node01上启动hdfs，start-dfs.sh
3.在node01上启动yarn，start-yarn.sh
4.在node03、04上分别启动resourcemanager
yarn-daemon.sh start resourcemanager
5.全部会话jps，看进程全不全

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
以上是启动后各个node 的jps

关闭集群

1.node01: stop-dfs.sh
2.node01: stop-yarn.sh (停止nodemanager)
3.node03,node04: yarn-daemon.sh stop resourcemanager
4.node02、03、04：zkServer.sh stop

转载自原文链接, 如需删除请联系管理员。

原文链接：hadoopHA配置最终篇，转载请注明来源！

赞 0