gydtep

这些基准测试有必要性，因为我们需要一个简单、可复现的方式来衡量性能。

gydtep

从shuffle介质来看，最广泛使用的shuffle方式是基于磁盘文件的shuffle. 这种模式这种方式简单，直接，

gydtep

因为假设我们的磁盘iops能达到1000, 对应的throughput也只有25MB/s, 严重影响性能和磁盘压力。

gydtep

可以看到，mapper生成shuffle数据的过程变为mapper将shuffle数据通过网络传输给每个reducer对应的shuffle agent, 而shuffle agent归集一个reducer来自所有mapper的数据，并追加到shuffle磁盘文件中，两个过程是流水线并行化起来的。

gydtep

而当少数agent数据丢失的情况，可以读取备份数据，备份数据的重新生成只依赖特定的上游mapper.

gydtep

在不触动组织根基的前提下资源最优配置，这也是目前大多数银行在推进的转型方式。

gydtep

一个人从籍籍无名走到功成名就，成为大众眼中的“成功人士”，必然有一套指导其行为的、且经其验证有效的“方法论”。

gydtep

但同时，我们也应该看到，企业也就与这些客群捆绑了，业务和产品由衣食父母决定，流程也得配合衣食父母的节奏，

gydtep

再说纯基于线上授信也没做过啊，风险想想就不可控，这要是逾期不良了，催收和核销的逻辑都不一样，按照现有的核销制度，靠都靠不上。

gydtep

我们是泱泱大国，上下五千年，有灿烂的文明，有醇厚的文化，自从打开国门之后，我们放眼看世界，受冲击最大的是科学技术的差异吗？