gydtep

但受限于单机的物理限制，这种优化总会存在天花板，因此需要从架构上优化来彻底规模和性能的可扩展性问题。

gydtep

这些弊端逐渐显现，因此急需从架构上改进，让资源调度具备线上的灰度能力，从而幅提升工程效率。

gydtep

调度协调服务（Coordinator）：管理资源调度系统的配置信息，Meta信息，以及对机器资源、Scheduler、RMS的可用性和服务角色间的可见性做仲裁。

gydtep

在云上和阿里集团的大数据实践中，我们发现对于计算调度需要同时具备超大规模和智能化的需求，以此为基本诉求我们开了Fuxi计算调度2.0的研发。

gydtep

例如spark社区很早提出了运行时调整Join策略的需求(Join: Determine the join strategy (broadcast join or shuffle join) at runtime)，但是目前仍然没有解决。

gydtep

这就带来了执行过程中的不确定性，因此，要求一个好的分布式作业执行系统，需要能够根据中间运行结果的特点，来进行执行过程中的动态调整。

gydtep

第三方服务商/伙伴提供的自定义解决方案，为用户提供“开发+管理+运营”全托管式的小程序开发服务，

gydtep

Fuxi Shuffle在1.0版本**这两种shuffle模式进行了极致优化，保障了日常和高峰时期作业的高效稳定运行。

gydtep

但处理同样的数据量，并发度越高意味着上述碎片读现象越严重。

gydtep

通常情况下选择忍受一定的碎片IO现象而在集群规模允许的情况下提升并发度，还是更有利于作业的性能。