[国内信息] 免费领取阿里云服务器2000元代金券！ [复制链接]
查看:816192 | 回复:5940

gydtep · 发表于 2020-7-11 21:22:44

通过采用 Kubernetes 平台，用户不必操心资源管理问题，使基础设施更加标准化，复杂度降低，资源使用率提升。

gydtep · 发表于 2020-7-12 08:40:56

过去十年来，伏羲在技术能力上每年都有一定的进展和突破（如2013年的5K，15年的Sortbenchmark世界冠军，17年的超大规模离在/在离混布能力，2019年的 Yugong 发布并论文被VLDB接受等等）。

gydtep · 发表于 2020-7-12 15:43:32

作业也可能长短不一，重要程度不尽相同，今天和明天的需求也大相径庭。

gydtep · 发表于 2020-7-12 18:52:58

Fuxi 2.0进行了全面的技术升级，在全区域数据排布、去中心化调度、在线离线混合部署、动态计算等方面全方位满足新业务场景下的调度需求。

gydtep · 发表于 2020-7-13 08:33:32

很多不同用户的不同小任务，经过层层调度，最后汇集到同一台物理机上，如何避免单机上真正运行时，对硬件资源使用的各种不公平，避免老实人吃亏。

gydtep · 发表于 2020-7-13 09:56:13

通过对作业历史运行数据进行分析推测出作业的输入输出；对于偶发的作业，我们发现其产生较大跨域流量时，

gydtep · 发表于 2020-7-13 12:11:40

用户接口服务（ApiServer）：为资源调度系统提供外部调用的总入口，会根据Coordinator提供的Meta信息将用户请求路由到资源调度系统具体的某一个服务上，可以横向扩展。

gydtep · 发表于 2020-7-13 14:49:52

同时通过测试专用的调度器，我们也让资源调度具备了灰度能力，调度策略的开发和上线周期显著缩短。

gydtep · 发表于 2020-7-13 15:36:38

这个SQL经过编译优化之后生成了优化执行计划，提交到fuxi管理的分布式集群中执行。

gydtep · 发表于 2020-7-13 16:28:30

放在DAG的逻辑图与物理图的背景中来说，这要求分布式系统在运行作业前，必须事先了解作业逻辑和处理数据各种特性，并能够准确回答作业运行过程，各个节点和连接边的物理特性问题，