[国内信息] 免费领取阿里云服务器2000元代金券！ [复制链接]
查看:815869 | 回复:5940

gydtep · 发表于 2020-6-3 21:49:46

在对于join使用的算法无法被事先确定的时候，分布式调度执行框架可以允许优化提交一个conditional DAG，这样的DAG同时包括使用两种不同join的方式对应的不同执行计划支路。

gydtep · 发表于 2020-6-4 09:28:13

在数据密集型作业中，shuffle阶段的时间和资源使用占比非常高，有其他大数据公司研究显示，

gydtep · 发表于 2020-6-4 10:38:04

而一个reducer要从所有mapper所写的文件中，读取到属于自己的那一小块。

IKGLOBAL · 发表于 2020-6-4 10:42:36

我勒个去，170页的回复，楼主辛苦了

gydtep · 发表于 2020-6-4 12:43:47

我们不禁考虑，作业并发度和磁盘效率真的不能兼得吗？

gydtep · 发表于 2020-6-4 14:05:00

但在前述shuffle service流程中，由于shuffle agent输出的shuffle这个文件包含了来自所有mapper的shuffle数据，损坏文件的重新生成需要以重跑所有mapper为代价。

gydtep · 发表于 2020-6-4 15:11:10

前面的数据归集模型中，shuffle agent作为新角色衔接了mapper的数据发送与数据落盘。

gydtep · 发表于 2020-6-4 15:19:39

我曾论述过，推动银行转型终究要诉诸于管理者的选择、决断，甚至某些情况下，管理者可以腾挪的空间也极其有限。

772114 · 发表于 2020-6-4 15:26:20

恩，现在大家都搞促销了

gydtep · 发表于 2020-6-4 16:04:44

中层即使想转型，也身在局中无能为力，受限于职责边界和资源边界；