gydtep

业内领先的去中心化资源调度架构，单集群支持10万服务器*10万并发job的高频调度

gydtep

比如网络延迟，数据中心内部网络的网络延迟一般在100微秒以下，而跨地域的网络延迟则高达数十毫秒，相差百倍以上。

gydtep

如果将project看做一个整体，可以根据作业对数据的依赖关系计算出project之间的相互依赖关系。

gydtep

我们首次提出了跨地域、跨数据中心数据缓存这一概念，通过集群的存储换集群间带宽，在有限的冗余存储下，找到存储和带宽最佳的tradeoff。

gydtep

但规模的增长将带来复杂度的极速上升，机器规模扩大一倍，资源请求并发度也会翻一番。

gydtep

单一的调度器对开发人员要求高，出问题之后影响范围大，测试发布周期长，严重影响了调度策略迭代的效率，在快速改进各种场景调度效果的过程中，

gydtep

资源调度器（Scheduler）：负责核心的机器资源和作业资源需求匹配的调度逻辑，可以横向扩展。

gydtep

一方面随着业务规模和需要处理的数据量的爆发，这个系统需要服务的分布式作业规模也在不断增长；

gydtep

从这些例子可以看出，随着大数据平台优化的深入进行，对于DAG系统的动态性要求越来越高。

gydtep

例如一个分布式作业在运行前，能够获得的只有原始输入的一些基本特性(数据量等)， 对于一个较深的DAG执行而言，