gydtep
发表于 2020-6-2 10:13:24
避免重要关键任务受普通任务影响，这都需要内核层面的隔离保障机制。同时还要兼顾隔离性和性能、成本的折中考虑。这都需要“单机调度”。
gydtep
发表于 2020-6-2 12:26:35
阿里巴巴在全球都建有数据中心，每个地区每天会产生一份当地的交易订单信息，存在就近的数据中心。
gydtep
发表于 2020-6-2 15:45:24
作业访问数据也有一些特殊规律，比如一般访问的是连续分区、生成时间越新的分区访问概率越大。
gydtep
发表于 2020-6-2 19:56:05
随着上层业务的不断发展，业务的资源需求和数据需求也在不断变化。
gydtep
发表于 2020-6-3 10:14:01
场景的不同对资源调度的需求也不相同，比如，SQL类型的作业通常体积小、运行时间短，对资源匹配的要求低，但对调度延时要求高，
gydtep
发表于 2020-6-3 13:39:01
这个SQL经过编译优化之后生成了优化执行计划，提交到fuxi管理的分布式集群中执行。
gydtep
发表于 2020-6-3 16:33:22
由于业界大部分DAG调度框架都在逻辑图和物理图之间没有清晰的分层，缺少执行过程中的动态性，无法满足多种计算模式的需求。
gydtep
发表于 2020-6-3 20:14:08
而DAG/AM作为分布式作业唯一的中心节点和调度管控节点，是唯一有能力收集并聚合相关数据信息，并基于这些数据特性来做作业执行的动态调整。
gydtep
发表于 2020-6-3 22:38:08
明白什么样的软硬件架构更适合目标应用场景，这样可以考虑软硬件优化定制的方向。
gydtep
发表于 2020-6-4 10:37:16
通常每个mapper生成一个磁盘文件，包含了这个mapper写给下游所有reducer的数据。
