当前位置： 首页 >> Hadoop >> HDFS自动故障转移

---

HDFS自动故障转移

2020-07-03 23:20:46 星期五  阅读：1944

---

实验版本：Hadoop2.7.2 ####准备工作 可用的zookeeper集群 以下所有的配置就是建立在手动故障转移的配置基础上的（完整的配置信息需要把手动故障转移的配置配好后，再来添加此处的配置） ####详细配置 `vim $HADOOP_HOME/etc/hadoop/hdfs-site.xml` ``` <!-- 开启故障自动转移 --> <property> <name>dfs.hs.automatic-failover.enabled</name> <value>true</value> </property> ``` `vim $HADOOP_HOME/etc/hadoop/core-site.xml` ``` <!-- 配置zk集群信息 --> <property> <name>ha.zookeeper.quorum</name> <value>zkhost1:2181,zkhost2:2181:zkhost3:2181</value> </property> ``` ####配置变更分发到其他节点 ####启动ZK服务 ####关闭集群的HDFS服务 如果集群未开启，则跳过此步骤 ``` cd $HADOOP_HOME sbin/stop-dfs.sh ``` ####在ZK中初始化HA的状态 ``` cd $HADOOP_HOME bin/hdfs zkfc -formatZK ``` ####在ZK里看HA集群信息（可选） ``` # 到zookeeper所在节点操作 cd $ZOOKEEPER_HOME bin/zkCli.sh ... # 继续查看当前目录下的内容 ls / # 输出：[zookeeper, hadoop-ha] # 继续查看hadoop-ha里面的内容 ls /hadoop-ha # 输出：[mycluster] # 可以看到Hadoop集群的信息已经保存到ZK里 ``` ####启动hdfs ``` cd $HADOOP_HOME sbin/start-dfs.sh # 此时能把以下进程一并启动起来 # journalNode # NameNode # DataNode # ZKFC ``` 启动后，nn1节点和nn2节点会自动选出一台active节点对外提供服务。 如果把active节点的namenode进程kill掉（假设是nn1节点），则通过Hadoop的web界面能看到nn2节点自动切换为active状态。 当我们再次启动nn1时，nn1不会切换为active状态，除非nn2节点挂掉