gydtep

同时建立变更前中后的监控基线，具备异常变更的熔断和自动化回滚能力。

gydtep

很多不同用户的不同小任务，经过层层调度，最后汇集到同一台物理机上，如何避免单机上真正运行时，对硬件资源使用的各种不公平，避免老实人吃亏。

gydtep

。但小任务切粗切细，在不同的机器上有快有慢，上下步骤如何交接数据，同时避开各自故障和长尾，这些都需要“计算调度”。

gydtep

资源调度器（Scheduler）：负责核心的机器资源和作业资源需求匹配的调度逻辑，可以横向扩展。

gydtep

在多调度器架构基础上，我们把机器学习场景调度策略进行了分离，通过独立的调度器来进行持续的优化。

gydtep

而这个图在提交给fuxi系统后，根据每个逻辑节点需要的并发度，数据传输边上的shuffle方式，调度时间等等信息，就被物化成右边的物理执行图。

gydtep

完成join操作，由此可见map join优化能大量减少 (大表) shuffle同时避免数据倾斜，能够提升作业性能。

gydtep

而在阿里分布式系统的发展过程中，历史上同样出现了两种对比较为显著的执行方式：SQL线离线(batch)作业与准实时(interactive)作业。

gydtep

在此统一离线作业与准实时作业的到一套架构的基础上，这种统一的描述方式，使得探索离线作业高资源利用率，以及准实时作业的高性能之间的tradeoff成为可能

gydtep

通常情况下选择忍受一定的碎片IO现象而在集群规模允许的情况下提升并发度，还是更有利于作业的性能。