[国内信息] 免费领取阿里云代金券2020元啦！新老用户同享。 [复制链接]
查看:185091 | 回复:2373

gydtep · 发表于 2020-6-2 21:48:12

在对作业进行调度之前需要知道这个作业的输入和输出，目前我们有两种方式获得这一信息，对于周期性作业，通过对作业历史运行数据进行分析推测出作业的输入输出；

gydtep · 发表于 2020-6-3 10:46:56

资源调度系统是分布式系统中最复杂最重要的的模块之一，需要有严苛的生产发布流程来保证其线上稳定运行。

gydtep · 发表于 2020-6-3 13:39:34

我们可以看到，这个简单的SQL经过编译优化，被转换成一个具有M->R两个逻辑节点的DAG图，也就是传统上经典的MR类型作业。

gydtep · 发表于 2020-6-3 13:56:22

这个图在提交给fuxi系统后，根据每个逻辑节点需要的并发度，数据传输边上的shuffle方式，调度时间等等信息，就被物化成右边的物理执行图。

gydtep · 发表于 2020-6-3 15:52:18

各个节点和连接边的物理特性问题，然而在现实情况中，许多和运行过程中数据特性相关的问题，都只有个在执行过程中才能被最准确的获得。

gydtep · 发表于 2020-6-3 16:51:59

对于DAG组件在作业管理，DAG执行等方面的动态性，灵活性等方面的需求也日益强烈。

gydtep · 发表于 2020-6-3 20:14:49

这包括简单的物理执行图调整（比如动态的并发度调整），也包括复杂一点的调整比如对shuffle方式和数据编排方式重组。

gydtep · 发表于 2020-6-3 20:42:25

除此以外，数据的不同特点也会带来逻辑执行图调整的需求：对于逻辑图的动态调整，

gydtep · 发表于 2020-6-4 10:01:29

因此优化shuffle流程不但可以提升作业执行效率，而且可以整体上降低资源使用，节约成本，提升MaxCompute在云计算市场的竞争优势。

gydtep · 发表于 2020-6-4 11:11:23

平均每个reducer读取来自每个mapper的数据量就是25.6KB, 在机械硬盘HDD为介质的存储系统中，属于典型的读碎片现象，