gydtep 发表于 2020-7-11 21:22:44

通过采用 Kubernetes 平台,用户不必操心资源管理问题,使基础设施更加标准化,复杂度降低,资源使用率提升。

gydtep 发表于 2020-7-12 08:40:56

过去十年来,伏羲在技术能力上每年都有一定的进展和突破(如2013年的5K,15年的Sortbenchmark世界冠军,17年的超大规模离在/在离混布能力,2019年的 Yugong 发布并论文被VLDB接受等等)。

gydtep 发表于 2020-7-12 15:43:32

作业也可能长短不一,重要程度不尽相同,今天和明天的需求也大相径庭。

gydtep 发表于 2020-7-12 18:52:58

Fuxi 2.0进行了全面的技术升级,在全区域数据排布、去中心化调度、在线离线混合部署、动态计算等方面全方位满足新业务场景下的调度需求。

gydtep 发表于 2020-7-13 08:33:32

很多不同用户的不同小任务,经过层层调度,最后汇集到同一台物理机上,如何避免单机上真正运行时,对硬件资源使用的各种不公平,避免老实人吃亏。

gydtep 发表于 2020-7-13 09:56:13

通过对作业历史运行数据进行分析推测出作业的输入输出;对于偶发的作业,我们发现其产生较大跨域流量时,

gydtep 发表于 2020-7-13 12:11:40

用户接口服务(ApiServer):为资源调度系统提供外部调用的总入口,会根据Coordinator提供的Meta信息将用户请求路由到资源调度系统具体的某一个服务上,可以横向扩展。

gydtep 发表于 2020-7-13 14:49:52

同时通过测试专用的调度器,我们也让资源调度具备了灰度能力,调度策略的开发和上线周期显著缩短。

gydtep 发表于 2020-7-13 15:36:38

这个SQL经过编译优化之后生成了优化执行计划,提交到fuxi管理的分布式集群中执行。

gydtep 发表于 2020-7-13 16:28:30

放在DAG的逻辑图与物理图的背景中来说,这要求分布式系统在运行作业前,必须事先了解作业逻辑和处理数据各种特性,并能够准确回答作业运行过程,各个节点和连接边的物理特性问题,
页: 195 196 197 198 199 200 201 202 203 204 [205] 206 207 208 209 210 211 212 213 214
查看完整版本: 免费领取阿里云服务器2000元代金券!