[国内信息] 阿里云服务器1核2G低至69元/年！ [复制链接]
查看:160992 | 回复:1514

gydtep · 发表于 2020-7-11 12:29:19

同时 Kubernetes 也简化了混合云，多云，边缘云等跨数据中心的部署成本。

gydtep · 发表于 2020-7-12 07:58:45

面向大数据与云计算调度挑战的阿里经济体核心调度系统—Fuxi 2.0全揭秘

gydtep · 发表于 2020-7-12 15:42:54

其次，有了数据，计算还需要CPU，内存，甚至GPU等资源，当不同的公司，或者单个公司内部不同的部门，同时需要计算资源，而计算资源紧张时，如何平衡不同的用户，不同的作业？

gydtep · 发表于 2020-7-12 21:00:59

动态DAG闯入传统SQL优化盲区，TPC-DS性能提升27%，conditional join性能提升3X。

gydtep · 发表于 2020-7-13 09:55:43

在对作业进行调度之前需要知道这个作业的输入和输出，目前我们有两种方式获得这一信息，对于周期性作业，

gydtep · 发表于 2020-7-13 12:11:08

调度信息收集监控服务（FuxiEye）：统计集群中每台机的运行状态信息，给Scheduler提供调度决策支持，可以横向扩展。

gydtep · 发表于 2020-7-13 15:00:54

这个“分”,包括数据的切分，聚合以及对应的不同逻辑运行阶段的区分，也包括在逻辑运行阶段间数据的shuffle传输。

gydtep · 发表于 2020-7-13 16:27:35

传统的分布式作业DAG，一般是在作业提交前静态指定的，这种指定方式，使得作业的运行没有太多动态调整的空间。

gydtep · 发表于 2020-7-13 20:16:56

我们在阿里集团和云上海量业务的实践中发现，类似map join优化的这样的例子是很普遍的，从这些例子可以看出，随着大数据平台优化的深入进行，对于DAG系统的动态性要求越来越高。

gydtep · 发表于 2020-7-14 11:35:39

离线作业：每个节点按需去申请资源，一个逻辑节点代表一个调度单位；节点间连接边上传输的数据，通过落盘的方式来保证可靠性；