我有几个 DAG 每天只运行几个小时,之后 Cloud Composer 集群什么都不做。我试图了解工作人员池自动缩放机制:
concurrency=10
,Composer 将在这 3 个节点上运行,直到 DAG 提示它需要资源,此时它会自动扩展到 10 个节点?那么当 DAG 完成时它会销毁这额外的 7 个节点吗?最佳答案
我决定对@SNeumann 的回答进行更多阐述。至于现在,Composer 不支持启用自动缩放的 Kubernetes 集群。这是因为围绕 Kuberenetes 资源请求以及目前无法为 Airflow pod 估算这些资源请求存在复杂的对话。
已提交功能请求:1 , 2支持基于 DAG 需求的 worker 自动缩放。我建议 subscribing it随时更新,因为您会收到有关其进展的电子邮件。
根据official documentation :
the Airflow scheduler and workers are in the same GKE cluster, the schedulers and workers won't work properly if the competition results in resource starvation.
目前,您需要在节点级别启用自动缩放并编写 .yaml,然后更新 minReplicas: 1
和 maxReplicas: 50
就像@发布的 Medium 教程中那样斯 Newman 。
希望以上信息对您有用。
https://stackoverflow.com/questions/61741069/
相关文章:
google-cloud-platform - GCP Nat 后超时
java - Intellij Idea : sbt refresh FetchError$Down
json - 在 typescript 中为 JSON 文件添加类型定义
javascript - web3.eth.accounts[0] 返回未定义和 app.vote(
wordpress - Post Object Timber/Twig WordPress 问题
python - 如何在 Nifi 中将 pandas 数据帧从一个处理器传递到另一个处理器?