[国内信息] 阿里云服务器冰点底价：86元/年起，现在可以购买啦！ [复制链接]
查看:162797 | 回复:2383

gydtep · 发表于 2020-6-1 15:15:35

即使这些系统可以使用，并且组织、机构和政府机构可以弄清楚如何使用它们，但是对隐私和安全的影响又如何呢?

gydtep · 发表于 2020-6-1 19:49:29

17年的超大规模离在/在离混布能力，2019年的 Yugong 发布并论文被VLDB接受等等）。

gydtep · 发表于 2020-6-2 10:52:26

2019年，伏羲再次出发，从技术上对系统进行了第二次重构，发布Fuxi 2.0版本：阿里自研的新一代高性能、分布式的数据、资源、计算、单机调度系统。

gydtep · 发表于 2020-6-2 15:53:02

如果能将有互相数据依赖的project放在一个数据中心，就可以减少跨中心依赖。

gydtep · 发表于 2020-6-3 11:33:41

这些弊端逐渐显现，因此急需从架构上改进，让资源调度具备线上的灰度能力，从而幅提升工程效率。

gydtep · 发表于 2020-6-3 16:01:53

但是在实际执行过程中，具体数据量的大小，需要在上游节点完成后才能被感知，

gydtep · 发表于 2020-6-4 11:10:57

右侧则是一个系统中典型规模的MR作业，当每个mapper处理256MB数据，而下游reducer有10000个时，

gydtep · 发表于 2020-6-4 14:04:18

以shuffle agent文件丢失/损坏是大数据作业的常见问题为例，传统的文件系统shuffle可以直接定位到出错的数据文件来自哪个mapper，只要重跑这个mapper即可恢复。

gydtep · 发表于 2020-6-4 15:10:35

在前述基础功能之上，Fuxi线上的shuffle系统应用了更多功能和优化，在性能、成本、稳定性等方便取得了进一步的提升。

gydtep · 发表于 2020-6-4 19:34:26

在一个企业之初，其资源和技术，支撑其谋求一个细分市场，满足这个细分市场中的客户需求，慢慢发展，