gydtep

避免重要关键任务受普通任务影响，这都需要内核层面的隔离保障机制。同时还要兼顾隔离性和性能、成本的折中考虑。这都需要“单机调度”。

gydtep

阿里巴巴在全球都建有数据中心，每个地区每天会产生一份当地的交易订单信息，存在就近的数据中心。

gydtep

作业访问数据也有一些特殊规律，比如一般访问的是连续分区、生成时间越新的分区访问概率越大。

gydtep

随着上层业务的不断发展，业务的资源需求和数据需求也在不断变化。

gydtep

场景的不同对资源调度的需求也不相同，比如，SQL类型的作业通常体积小、运行时间短，对资源匹配的要求低，但对调度延时要求高，

gydtep

这个SQL经过编译优化之后生成了优化执行计划，提交到fuxi管理的分布式集群中执行。

gydtep

由于业界大部分DAG调度框架都在逻辑图和物理图之间没有清晰的分层，缺少执行过程中的动态性，无法满足多种计算模式的需求。

gydtep

而DAG/AM作为分布式作业唯一的中心节点和调度管控节点，是唯一有能力收集并聚合相关数据信息，并基于这些数据特性来做作业执行的动态调整。

gydtep

明白什么样的软硬件架构更适合目标应用场景，这样可以考虑软硬件优化定制的方向。

gydtep

通常每个mapper生成一个磁盘文件，包含了这个mapper写给下游所有reducer的数据。