libin's个人网站3.0-HDFS手动故障转移

当前位置：首页 >> Hadoop >> HDFS手动故障转移

HDFS手动故障转移

2020-07-03 13:48:58 星期五阅读：2161

以下所有配置均来自Hadoop官网：https://hadoop.apache.org/docs/r2.7.2/
Hadoop版本：2.7.2
官网原话：在高可用集群中，standby节点也可以做NameNode命名空间状态的checkpoint，所以没必须再配置Secondary Namenode。即HA集群中不需要配置Secondary NameNode进程。

####配置HDFS
`vim $HADOOP_HOME/etc/hadoop/hdfs-site.xml`
```

<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>

<property>
    <name>dfs.nameservices</name>
    <value>mycluster</value>
</property>

<property>
    <name>dfs.ha.namenodes.mycluster</name>
    <value>nn1,nn2</value>
</property>

<property>
    <name>dfs.namenode.rpc-address.mycluster.nn1</name>
    <value>machine1.example.com:8020</value>
</property>
<property>
    <name>dfs.namenode.rpc-address.mycluster.nn2</name>
    <value>machine2.example.com:8020</value>
</property>

<property>
    <name>dfs.namenode.http-address.mycluster.nn1</name>
    <value>machine1.example.com:50070</value>
</property>
<property>
    <name>dfs.namenode.http-address.mycluster.nn2</name>
    <value>machine2.example.com:50070</value>
</property>

<property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://node1:8485;node2:8485;node3:8485/mycluster</value>
</property>

<property>
    <name>dfs.client.failover.proxy.provider.mycluster</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

<property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
</property>
<property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/home/exampleuser/.ssh/id_rsa</value>
</property>

<property>
    <name>dfs.permission.enable</name>
    <value>false</value>
</property>
```

####文件系统配置
`vim $HADOOP_HOME/etc/hadoop/core-site.xml`
```

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://mycluster</value>
</property>

<property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/service/hadoop/HA/hadoop2.7.2/data/tmp</value>
</property>

<property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/usr/local/service/hadoop/HA/hadoop2.7.2/data/tmp/jn</value>
</property>
```

#### 其他配置文件
其他配置文件与单节点搭建时配置的一样
包括：
yarn-site.xml
salves
mapred-site.xml文件等

####将配置文件分发到其他节点

####启动Journalnode服务
每台journalnode节点都需要启动
```
# node1
cd $HADOOP_HOME
sbin/hadoop-daemon.sh start journalnode

# node2
cd $HADOOP_HOME
sbin/hadoop-daemon.sh start journalnode

# node3
cd $HADOOP_HOME
sbin/hadoop-daemon.sh start journalnode
```

####格式化Hadoop集群并启动nn1
注意：不需要在两台NameNode节点上都格式化
```
# 在nn1节点上格式化并启动
cd $HADOOP_HOME
bin/hadoop namenode -format
sbin/hadoop-daemon.sh start namenode
```

####在nn2上同步nn1的元数据
```
# 注意一定要在nn2上执行
cd $HADOOP_HOME
bin/hdfs namenode --bootstrapStandby
```

####启动nn2节点的NameNode进程
```
cd $HADOOP_HOME
sbin/hadoop-daemon.sh start namenode
```

####启动所有DataNode
```
# nn1节点操作
sbin/hadoop-daemons.sh start datanode
```

####将nn1切换为active状态
注意：此时，nn1和nn2都处于standby状态，无法对外提供服务，需要手动切换一台NameNode节点的状态
```
# 在nn1和nn2节点操作都可以，这里选择nn1
cd $HADOOP_HOME
bin/hdfs haadmin -transitionToActive nn1
```

####获取NameNode节点的状态信息
```
cd $HADOOP_HOME
bin/hdfs haadmin -getServiceState nn1
```