gydtep

首先是作业稳定性差。早期团队有 Spark 集群、YARN 集群，导致作业稳定性差，容错等方面难以管理。

gydtep

实际上 AI 团队要承担很多工程的工作，在一定程度上十分约束实验的展开。

gydtep

称为 BSQL。BSQL 扩展了 Flink 底层 SQL 的上层，即 SQL 语法层。

gydtep

Flink 需要 IO 密集是很麻烦的问题，因为 Flink 的资源调度体系内有内存和 CPU，但 IO 单位未做统一管理。

gydtep

第三，不同 Join 对 ETL 的清洗不同。

gydtep

他们掌握的语言不同，导致工程上语言非常乱。

gydtep

此外，不仅有双流 Join，还有三流及以上的 Join，如广告展现流、点击流、搜索查询流等。

gydtep

第四，非典型 A Left Join B On Time-based Window 模型。

gydtep

。keyState 状态查询量维持在高峰值 60w，包括 read、write、exist 等状态。

gydtep

第一个问题是窗口分配量巨大，QPS 与窗口分配量基本持恒。