我正在使用 yarn 资源管理器产生 Spark 。重启 yarn 服务器后，spark-webui中所有已完成的作业都消失了。

在yarn-site.xml中添加的两个属性下面，有人可以解释一下这是什么原因，并且有任何属性可以控制它。

<property>
      <name>yarn.log-aggregation-enable</name>
      <value>false</value>
</property>

<property>
    <name>yarn.nodemanager.log.retain-seconds</name>
    <value>86400</value>
</property>

最佳答案

如果在yarn-site.xml中将yarn.resourcemanager.recovery.enabled设置为true并设置yarn.resourcemanager.store.class，则可以在重新启动时保留应用程序历史记录。

有关更多详细信息，请参见ResourceManger Restart。

您的其他条目涉及日志记录，并定义您希望完成的日志在清除之前要保留多长时间。您可以在yarn-default.xml中阅读有关它们的更多信息。

关于apache-spark - yarn 服务器重启后如何在Spark Web-UI中保留完成的应用程序，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/56260448/