HDFS块大小默认为128 MB(来源:https://hadoop.apache.org/docs/r2.9.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml)

hive strip 大小默认为250 MB(来源:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ORC#LanguageManualORC-FileStructure)

据我了解，HDFS的1个块中必须完全容纳1条。

我在这里想念什么吗？我的信息不正确吗？

您是否仅需要将HDFS配置为具有250 MB的块以适合 strip 化？

最佳答案

Orc文件格式可在 strip 级别拆分。这意味着不需要将一个 strip 大小适合到一个块中。

HDFS块大小在文件级别，而不管其格式如何。

关于hadoop - HDFS的默认 block 大小为128 MB，而Hive的默认 strip 大小为250 MB，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/55128225/