hadoop - hbase completebulkload长时间运行

Hadoop集群从CDH 4.4升级到CDH 5.7.6,HBASE:0.94-> 1.2.0
在那之后,hbase completebulkload过程的时间从小型表的2小时增加到3-4个,大型表从10小时以上增加。为什么会发生?我应该检查什么?

最佳答案

问题出在禁用的块缓存中。如果使用LoadIncrementalHFiles通过代码加载hfile,则它可以正常工作。
https://issues.apache.org/jira/browse/HBASE-10500

https://stackoverflow.com/questions/56188837/

相关文章:

hadoop - hadoop 目录与 hadoop-x.x.x 有何不同

apache-spark - yarn 服务器重启后如何在Spark Web-UI中保留完成的应用程

logging - 如何在Postfix(3)中更改(syslog)日志目标以用于Docker

scala - Hadoop copyMerge无法正常工作:scala

docker - 如何在家庭 Web 服务器上托管 Ghost 博客

hadoop - hdfs:现有文件上的 “No such file or directory”

hadoop - 如何编辑Hadoop存储日志文件的位置?

hadoop - 向我现有的集群添加自动故障转移?

docker - Docker构建输入/输出错误

apache-spark - 多次运行时在同一组数据上不同的Pyspark代码输出