[国内信息] 阿里云香港云服务器低至119元/年，无需备案 [复制链接]
查看:30573 | 回复:1846

gydtep · 发表于 2020-3-4 13:54:43

如广告展现流、点击流、搜索查询流等。

gydtep · 发表于 2020-3-4 14:45:19

在不同业务线，不同场景的推荐背后，算法同学做工程工作。

gydtep · 发表于 2020-3-4 15:11:30

SJoin-工程背景：流量规模大，如 bilibili 首页推荐的流量，AI 的展现点击 Join，来自全站的点击量和展现。

gydtep · 发表于 2020-3-4 15:26:43

则需要为用户提供通用的扩展，解决不同业务对 Join 之前的定制化 ETL 清洗。

gydtep · 发表于 2020-3-4 16:08:25

原始 feed 流与 click 流，QPS 高峰分别在 15w 和 2w，Join 输出 QPS 高峰达到 10w，字节量高峰为 200 M/s。

gydtep · 发表于 2020-3-4 16:49:49

用户打开窗口，每一条记录都是一个 Window 窗口。

gydtep · 发表于 2020-3-4 17:28:58

类似 HBase，多 level 的 compact 会造成性能抖动和写放大。

gydtep · 发表于 2020-3-4 18:13:00

第二，启用 Redis 作为 ValueState，提高 State 稳定性。

gydtep · 发表于 2020-3-4 19:27:16

在 1 点到 2 点，数据会写入到新的 State，0 点到 1 点的 State 已经到达窗口时间，进行数据吐出。

gydtep · 发表于 2020-3-4 20:49:36

接下来利用 Timer Service 原生的 CheckPoint 开启增量 CheckPoint 过程。