apache-spark - 如何使用作业 Spark 测量HDFS的读写时间?

我刚刚开始进行大数据平台认证的工作,我想就如何测试hdfs的读写性能提出建议。

最佳答案

如果您正在运行spark作业以进行读写操作,则可以在应用程序管理器(localhost:50070)上看到作业时间,如果使用spark-shell,则必须手动测量时间,也可以使用时间功能。

https://stackoverflow.com/questions/56149378/

相关文章:

docker - 尝试推送到注册表时的HTTP响应403

dictionary - 没有为方案WASB获取文件系统。 Hdinsight Mapreduce

apache-spark - 找不到pyspark.zip,应用程序application_1558

amazon-web-services - Amazon EB中的Dockerfile

hadoop - 如何修复用于计算一列并按另一列分组的配置单元代码?

hadoop - 实现Hivemall回归功能的问题

docker - 在受限制的互联网环境中使用docker

java - 使用docker文件在Oracle初始化期间初始化架构

docker - Docker撰写:可以对依赖服务的延迟启动进行建模吗?

hadoop - 检索使用hadoop distcp复制的数据的大小