[国内信息] 阿里云2000元专属红包领取及使用说明 [复制链接]
查看:832542 | 回复:7837

gydtep · 发表于 2020-3-4 11:04:44

为解决上述问题，bilibili 希望根据以下三点要求构建基于 Apache Flink 的流式计算平台。

gydtep · 发表于 2020-3-4 11:57:08

上层核心基于 Flink 构建运行池。再向上一层满足多种维表场景，

gydtep · 发表于 2020-3-4 13:36:51

此外，不仅有双流 Join，还有三流及以上的 Join，

gydtep · 发表于 2020-3-4 14:23:12

工程效率：每一个实验都有较高门槛，需要做 Label 生产，Features 计算以及 Instance 拼接。

gydtep · 发表于 2020-3-4 14:59:26

其核心需要解决以下三个问题：Streaming Join Streaming（流式 SJoin），Streaming Join Table（维表 DJoin），Real-time Feature（实时特征）。

gydtep · 发表于 2020-3-4 15:45:21

SJoin-工程规模：基于线上实时推荐 Joiner。

gydtep · 发表于 2020-3-4 16:30:03

SJoin-技术痛点：下图是 Flink 使用 WindowOperator 时的内部拓扑图。

gydtep · 发表于 2020-3-4 17:15:07

第二，Value RocksDB State 在 compact 时会导致流量抖动。

gydtep · 发表于 2020-3-4 17:45:44

后期升级 Flink，采用基于 RocksDB 的 Timer。

gydtep · 发表于 2020-3-4 18:30:15

当 0 点到 1 点的 1 小时，由于记录在 1 小时后才会吐出，数据进来只有写的动作。