hadoop - 向我现有的集群添加自动故障转移?

我需要有关 Hadoop 中自动故障转移的帮助。要求是在故障期间将控制权从一个节点转移到另一个节点。我已经有正在运行的集群并希望将其添加到现有集群中。

hdfs dfsadmin -report
配置容量:4393174024192(4.00 TB)
当前容量:4101312667648(3.73 TB)
剩余 DFS:4100850401280 (3.73 TB)
使用的 DFS:462266368 (440.85 MB)
DFS 已用百分比:0.01%
复制 block :
复制 block 下:20
具有损坏副本的 block :0
缺失 block :0
缺失 block (复制因子为 1):0
具有最高恢复优先级的低冗余 block :0
待删除 block :0
纠删码 block 组:
低冗余 block 组:0
具有损坏内部 block 的 block 组:0
缺少 block 组:0
具有最高恢复优先级的低冗余 block :0
待删除 block :0

实时数据节点(4):

名称:192.168.5.250:9866(奥丁)
主机名:odin
退役状态:正常
配置容量:1098293506048(1022.87 GB)
使用的 DFS:222879744 (212.55 MB)
非 DFS 使用:16838836224 (15.68 GB)
剩余 DFS:1025325965312 (954.91 GB)
DFS 使用百分比:0.02%
DFS 剩余百分比:93.36%
配置的缓存容量:0 (0 B)
使用的缓存:0 (0 B)
缓存剩余:0 (0 B)
缓存使用百分比:100.00%
缓存剩余百分比:0.00%
Xceivers: 1
最后联系时间:2019 年 5 月 20 日星期一 10:44:50 IST
上次区 block 报告:2019 年 5 月 20 日星期一 09:12:14 IST
block 数:129

名称:192.168.5.251:9866(洛基)
主机名:loki
退役状态:正常
配置容量:1098293506048(1022.87 GB)
使用的 DFS:145424384 (138.69 MB)
非 DFS 使用:15433760768 (14.37 GB)
剩余 DFS:1026808496128 (956.29 GB)
DFS 已用百分比:0.01%
DFS 剩余百分比:93.49%
配置的缓存容量:0 (0 B)
使用的缓存:0 (0 B)
缓存剩余:0 (0 B)
缓存使用百分比:100.00%
缓存剩余百分比:0.00%
Xceivers: 1
最后联系时间:2019 年 5 月 20 日星期一 10:44:50 IST
上次区 block 报告:2019 年 5 月 20 日星期一 09:12:14 IST
block 数:106

名称:192.168.5.252:9866(雷神)
主机名:雷神
退役状态:正常
配置容量:1098293506048(1022.87 GB)
使用的 DFS:8003584 (7.63 MB)
非 DFS 使用:16954404864 (15.79 GB)
剩余 DFS:1025425272832 (955.00 GB)
DFS 已用百分比:0.00%
DFS 剩余百分比:93.37%
配置的缓存容量:0 (0 B)
使用的缓存:0 (0 B)
缓存剩余:0 (0 B)
缓存使用百分比:100.00%
缓存剩余百分比:0.00%
Xceivers: 1
最后联系时间:2019 年 5 月 20 日星期一 10:44:50 IST
上次区 block 报告:2019 年 5 月 20 日星期一 10:08:38 IST
block 数:102

姓名:192.168.5.253:9866(海拉)
主机名:hela
退役状态:正常
配置容量:1098293506048(1022.87 GB)
使用的 DFS:85958656 (81.98 MB)
非 DFS 使用:19011055616 (17.71 GB)
剩余 DFS:1023290667008 (953.01 GB)
DFS 已用百分比:0.01%
DFS 剩余百分比:93.17%
配置的缓存容量:0 (0 B)
使用的缓存:0 (0 B)
缓存剩余:0 (0 B)
缓存使用百分比:100.00%
缓存剩余百分比:0.00%
Xceivers: 1
最后联系时间:2019 年 5 月 20 日星期一 10:44:50 IST
上次区 block 报告:2019 年 5 月 20 日星期一 09:12:14 IST
block 数:109

最佳答案

[https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithNFS.html][1] , I found this link and [https://www.edureka.co/blog/how-to-set-up-hadoop-cluster-with-hdfs-high-availability/][1]
Both will helps for setting this environment.

https://stackoverflow.com/questions/56214686/

相关文章:

apache-spark - yarn 服务器重启后如何在Spark Web-UI中保留完成的应用程

hadoop - hadoop 目录与 hadoop-x.x.x 有何不同

bash - 为什么parse_git_branch仅在Docker终端窗口中失败

scala - Hadoop copyMerge无法正常工作:scala

hadoop - hdfs:现有文件上的 “No such file or directory”

logging - 如何在Postfix(3)中更改(syslog)日志目标以用于Docker

hadoop - 如何编辑Hadoop存储日志文件的位置?

docker - 如何在家庭 Web 服务器上托管 Ghost 博客

apache-spark - 多次运行时在同一组数据上不同的Pyspark代码输出

docker - Docker构建输入/输出错误