gydtep
发表于 2020-7-14 13:30:17
混合Bubble执行模式平衡了离线作业高资源利用率以及准实时作业的高性能，这在1TB TPCH测试集上有显著的体现，
gydtep
发表于 2020-7-14 15:37:01
我们不禁考虑，作业并发度和磁盘效率真的不能兼得吗？
gydtep
发表于 2020-7-14 16:44:50
我们设计了数据双副本机制解决了这个问题，使得大多数通常情况下reducer可以读取到高效的agent生成的数据，而当少数agent数据丢失的情况，可以读取备份数据，备份数据的重新生成只依赖特定的上游mapper.
gydtep
发表于 2020-7-15 08:45:12
我们在生产环境对部分作业应用了一种新的shuffle模型，这种模型中mapper的发送端和reducer的接收端都通过一个agent节点来中转shuffle流量。
gydtep
发表于 2020-7-15 10:57:45
大量分布式作业汇集到一台机器上，如何将单机有限的各种资源合理分配给每个作业使用，从而达到作业运行质量、资源利用率、作业稳定性的多重保障，是单机调度要解决的任务。
gydtep
发表于 2020-7-15 13:58:44
那么，如何能够保障资源利用率提升的同时又能够保护在线服务不受影响呢？
gydtep
发表于 2020-7-15 15:19:46
Fuxi作为资源调度模块，对资源使用情况的精准画像是衡量资源分配，调查/分析/解决解决资源问题的关键。
gydtep
发表于 2020-7-15 16:58:31
为了解决三大挑战，通过完善的各维度优先级隔离策略，将在线提升到高优先级资源维度，我们保障了在线的服务质量稳定；
gydtep
发表于 2020-7-15 19:25:20
智能化的精细单机资源管控，基于资源画像信息通过对历史数据分析产生未来趋势预测，通过多种资源管控手段进行精准的资源控制，实现资源利用率和不同层次服务质量的完美均衡。
gydtep
发表于 2020-7-16 10:06:46
与很多同行一样，早期的信息系统建设也采用外包承接的方式运作。
