[国内信息] 阿里云服务器冰点底价：86元/年起，现在可以购买啦！ [复制链接]
查看:162912 | 回复:2386

gydtep · 发表于 2020-3-4 14:58:54

构建一套基于 Saber-BSQL、Flink 引擎的数据计算 Pipeline，极大简化 Instance 流的构建。

gydtep · 发表于 2020-3-4 15:44:41

因为 AI 机器学习需要正负样本均匀以保证训练效果，所以第四点问题属于强需求。

gydtep · 发表于 2020-3-4 16:29:34

如在早期 Flink 1.3.* 版本，其稳定性会较差。

gydtep · 发表于 2020-3-4 17:14:26

简单总结其技术痛点，首先，Timer 性能较差，且内存消耗大。

gydtep · 发表于 2020-3-4 17:45:16

早期社区没有更好的解决方案时，bilibili 尝试自研 PersistentTimerManager，

gydtep · 发表于 2020-3-4 18:29:48

由于窗口是 1 小时，相当于数据以 1 小时为单位进行 State 管理。

gydtep · 发表于 2020-3-4 19:59:42

数据从 Kafka 获取 Topic-Feed 和 Topic-Click，首先对其进行一层清洗，然后进入自定义的 Joiner Operator 算子。

gydtep · 发表于 2020-3-4 21:41:55

在对 Value、IO 要求高时抖动严重，RocksDBState 实际使用中会出现抖动问题。

gydtep · 发表于 2020-3-5 07:53:40

Saber 平台将会完善 SQL IDE 开发，如提供更丰富的版本管理、上下线、任务调试、资源管理、基础操作等。

gydtep · 发表于 2020-3-5 09:36:16

让人最为担心的就是数据结构，数据库结构和性能，代码架构，