gydtep
发表于 2020-7-11 12:29:19
同时 Kubernetes 也简化了混合云，多云，边缘云等跨数据中心的部署成本。
gydtep
发表于 2020-7-12 07:58:45
面向大数据与云计算调度挑战的阿里经济体核心调度系统—Fuxi 2.0全揭秘
gydtep
发表于 2020-7-12 15:42:54
其次，有了数据，计算还需要CPU，内存，甚至GPU等资源，当不同的公司，或者单个公司内部不同的部门，同时需要计算资源，而计算资源紧张时，如何平衡不同的用户，不同的作业？
gydtep
发表于 2020-7-12 21:00:59
动态DAG闯入传统SQL优化盲区，TPC-DS性能提升27%，conditional join性能提升3X。
gydtep
发表于 2020-7-13 09:55:43
在对作业进行调度之前需要知道这个作业的输入和输出，目前我们有两种方式获得这一信息，对于周期性作业，
gydtep
发表于 2020-7-13 12:11:08
调度信息收集监控服务（FuxiEye）：统计集群中每台机的运行状态信息，给Scheduler提供调度决策支持，可以横向扩展。
gydtep
发表于 2020-7-13 15:00:54
这个“分”,包括数据的切分，聚合以及对应的不同逻辑运行阶段的区分，也包括在逻辑运行阶段间数据的shuffle传输。
gydtep
发表于 2020-7-13 16:27:35
传统的分布式作业DAG，一般是在作业提交前静态指定的，这种指定方式，使得作业的运行没有太多动态调整的空间。
gydtep
发表于 2020-7-13 20:16:56
我们在阿里集团和云上海量业务的实践中发现，类似map join优化的这样的例子是很普遍的，从这些例子可以看出，随着大数据平台优化的深入进行，对于DAG系统的动态性要求越来越高。
gydtep
发表于 2020-7-14 11:35:39
离线作业：每个节点按需去申请资源，一个逻辑节点代表一个调度单位；节点间连接边上传输的数据，通过落盘的方式来保证可靠性；
