gydtep
发表于 2020-6-1 20:49:27
同样的10年，伴随着阿里年年双11，MaxCompute同样支撑了阿里内部大数据的蓬勃发展，从原来的几百台，到现在的10万台物理机规模。
gydtep
发表于 2020-6-1 20:59:19
双线需求，殊途同归，海量资源池，如何自动匹配到大量不同需求的**客户计算需求上，需要调度系统的工作。
gydtep
发表于 2020-6-2 09:32:08
除了用户和作业，计算资源本身可能面临硬件故障，但用户不想受影响。所有这些，都需要“资源调度”。
gydtep
发表于 2020-6-2 10:52:56
Fuxi 2.0进行了全面的技术升级，在全区域数据排布、去中心化调度、在线离线混合部署、动态计算等方面全方位满足新业务场景下的调度需求。
gydtep
发表于 2020-6-2 11:02:19
• 业内首创跨地域多数据中心的数据调度方案-Yugong，通过3%的冗余存储，节省80%的跨地域网络带宽
gydtep
发表于 2020-6-2 13:12:08
MaxCompute上每天运行着数以千万计的作业，处理EB级别的数据。这些计算和数据分布在全球的数据中心，复杂的业务依赖关系产生了大量的跨中心依赖。
gydtep
发表于 2020-6-2 13:46:35
相比于数据中心内的网络，跨数据中心网络（尤其是跨域的网络）是非常昂贵的，同时具有带宽小、延迟高、稳定性低的特点。
gydtep
发表于 2020-6-2 15:46:27
其次是业务的整体排布策略。数据和计算以业务为单位组织在一起（MaxCompute中称之为project），每个project被分配在一个数据中心，包括数据存储和计算作业。
gydtep
发表于 2020-6-2 17:04:06
本质上，数据缓存、业务排布、作业粒度调度三者都在解同一个问题，即在跨地域多数据中心系统中减少跨中心依赖量、优化作业的data locality、减少网络带宽消耗。
gydtep
发表于 2020-6-2 21:17:51
我们将调度粒度拆解到作业粒度，根据每个作业的数据需求、资源需求，为其找到一个最合适的数据中心。
