gydtep

因此我们需要定期对业务的排布进行分析，根据业务对计算资源、数据资源的需求情况，以及集群、机房的规划，通过业务的迁移来降低跨中心依赖以及均衡各集群压力。

gydtep

，而机器学习的作业一般体积大、运行时间长，调度结果的好坏可能对运行时间产生直接影响，因此也能容忍通过较长的调度延时换取更优的调度结果。

gydtep

我们将系统中最核心的资源管理和资源调度逻辑进行了拆分解耦，使两者同时具备了多partition的可扩展能力

gydtep

阿里计算平台的fuxi计算调度，经过十年的发展和不断迭代，成为了作为阿里集团内部以及阿里云上大数据计算的重要基础设施。

gydtep

今天计算调度同时服务了以MaxCompute SQL和PAI为代表的多种计算引擎，在近10万台机器上日均运行着千万界别的分布式DAG作业，每天处理EB数量级的数据。

gydtep

因此在提交作业前很难准确的判断是否可以采用Map join优化，从上图可以看出在Map Join和Sorted Merge Join上DAG图是两种结构，

gydtep

因此这需要DAG调度在执行过程中具有足够的动态性，能够动态的修改DAG图来达到执行效率的最优。

gydtep

我们在阿里集团和云上海量业务的实践中发现，类似map join优化的这样的例子是很普遍的，

gydtep

如前所诉，分布式作业执行的许多物理特性相关的问题，在作业运行前是无法被感知的。

gydtep

DAG2.0的动态逻辑图能力很好的支持了这种运行过程中根据中间数据特性的动态优化，而通过与上层引擎优化器的深度合作，