gydtep

动态的将其调度到数据所在的数据中心上运行。另外，调度计算还要考虑作业对计算资源的需求，防止作业全部调度到热点数据所在的数据中心，造成任务堆积。

gydtep

以下是10w规模集群/10万作业并发场景调度器核心指标（5个Scheduler、5个RMS，单RMS负责2w台机器，单Scheduler并发处理2w个作业）。

gydtep

分布式作业的执行与单机作业的最大区别，在于数据的处理需要拆分到不同的计算节点上，“分而治之”的执行。

gydtep

我们可以看到，这个简单的SQL经过编译优化，被转换成一个具有M->R两个逻辑节点的DAG图，也就是传统上经典的MR类型作业。

gydtep

静态的DAG执行，可能导致选中的是非最优的执行计划，从而导致各种运行时的效率低下，甚至作业失败。

gydtep

从上图可以看出在Map Join和Sorted Merge Join上DAG图是两种结构，因此这需要DAG调度在执行过程中具有足够的动态性，能够动态的修改DAG图来达到执行效率的最优。

gydtep

要么优化throughput (大规模，相对高延时)，要么优化latency(中小数据量，迅速完成)。前者以Hive为典型代表，后者则以Spark以及各种分布式MPP解决方案为代表。

gydtep

来灵活选择在执行计划中切出Bubble子图。在Bubble内部充分利用网络直连和计算节点预热等方式提升性能，没有切入Bubble的节点则依然通过传统离线作业模式运行。

gydtep

分布式作业中并发度的提升往往是加速作业运行的最重要手段之一。但处理同样的数据量，并发度越高意味着上述碎片读现象越严重。

gydtep

Shuffle service的归集思想在公司内外都有不同的工作展现类似的思想，但都限于“跑分”和小范围使用。因为这种模式对于各环节的错误天生处理困难。