gydtep

以shuffle agent文件丢失/损坏是大数据作业的常见问题为例，传统的文件系统shuffle可以直接定位到出错的数据文件来自哪个mapper，只要重跑这个mapper即可恢复。

gydtep

我们设计了数据双副本机制解决了这个问题，使得大多数通常情况下reducer可以读取到高效的agent生成的数据，而当少数agent数据丢失的情况，可以读取备份数据，备份数据的重新生成只依赖特定的上游mapper.

gydtep

这种方式下，要求作业中所有节点都要调度起来才能开始运行，限制了作业的规模。

gydtep

一方面是在线业务资源利用率不足，另一方面是离线计算长期超负载运行，那么能否将在线业务与离线计算进行混合部署，提升资源利用率同时大幅降低成本，实现共赢。

gydtep

资源隔离分级管理

单机的物理资源总是有限的，按照资源特性可以大体划分为可伸缩资源与不可伸缩资源两大类。

gydtep

为此，我们提出了FuxiSensor的资源画像方案，架构如上图所示，同时利用SLS进行数据的收集和分析。

gydtep

这些信号都在标志着以云计算为基础的数字化时代全面到来。

gydtep

申通以前使用线下机房作为计算及数据存储平台，随着业务量的快速增长，原有的IT系统遇到了一些瓶颈，比如软件交付周期过长，

gydtep

申通以前使用线下机房作为计算及数据存储平台，随着业务量的快速增长，原有的IT系统遇到了一些瓶颈，比如软件交付周期过长，大促保障对资源的要求高、系统稳定性差等。

gydtep

申通程序代码改造升级主要两部分升级，一是应用容器化，跟虚拟机比起来，容器可以同时提升效率和速度，让其更适合微服务场景。