gydtep

如果这种机制应用于所有线上作业，显然是不可接受的。

gydtep

前述数据归集模型及全面扩展优化，在线上集群中单位资源处理的数据量提升了约20%, 而因出错重试的发生频率降至原来文件系统shuffle的5%左右。但这就是最高效的shuffle方式了吗？

gydtep

我们将shuffle service应用到内存存储中，以替换network传输的shuffle方式。

gydtep

这类业务的特点是对响应延迟特别敏感，一旦服务抖动将会出现添加购物车失败、下单失败、浏览卡顿、钉钉消息发送失败等各种异常情况，

gydtep

毕竟登不上淘宝天猫下不了单可是大故障。可是，离线如果无限制的牺牲下去，服务质量将会出现大幅度下降。

gydtep

基于此，Fuxi2.0提出了一套基于资源优先级的资源划分逻辑，在资源利用率、多层次资源保障复杂需求寻找到了解决方案。

gydtep

在混部及MaxCompute的实践中，成为资源问题监控、报警、稳定性数据分析、作业异常诊断、资源监控状况的统一入口，成为混部成功的关键指标。

gydtep

数据Shuffle2.0则一方面优化shuffle流程，追求性能、成本、稳定性的极致，另一方面与DAG 2.0深入结合，提升更多场景；同时探索新的软硬件架构带来的新的想象空间。

gydtep

很重要的一点是要在技术上下功夫，打造公司核心的竞争力，构建行业的高生态壁垒，抵抗“外敌”入侵。

gydtep

今年6月，申通通用云原生计算平台被云原生开源产业联盟、CNCF基金会联合选为“2020年度云原生应用十大优秀案例”之一。