[国内信息] 阿里云服务器1核2G低至89元/年 [复制链接]
查看:163570 | 回复:2072

gydtep · 发表于 2020-3-4 09:23:44

此外，bilibili 作为一个内容导向的视频网站，AI 推荐场景下的实时计算需求也比较强烈。

gydtep · 发表于 2020-3-4 10:37:15

其次，缺乏统一的监控告警体系，业务团队需要重复工作，如计算延时、断流、波动、故障切换等。

gydtep · 发表于 2020-3-4 11:23:35

第二点，DAG 拖拽编程,一方面用户可以通过画板来构建自己的 Pipeline，另一方面用户也可以使用原生 Jar 方式进行编码。

gydtep · 发表于 2020-3-4 12:25:03

当某一个作业对 IO 有强烈的需求时，需要分配很多以 CPU 或内存为单位的资源，且未必能够很好的满足 IO 的扩展。

gydtep · 发表于 2020-3-4 13:56:12

如果不能通过 SQL 的方式进行表达，则需要为用户提供通用的扩展，

gydtep · 发表于 2020-3-4 14:46:58

另外，流、批不一致，模型的训练在实时环境与离线批次环境的工程差异很大，

gydtep · 发表于 2020-3-4 15:13:02

第三，不同 Join 对 ETL 的清洗不同。如果不能通过 SQL 的方式进行表达，

gydtep · 发表于 2020-3-4 15:27:50

主流 A 在窗口时间内 Join 成功后，需要等待窗口时间结束再吐出数据，延长了主流 A 在窗口的停留时间。

gydtep · 发表于 2020-3-4 16:09:38

一小时 window 下，Timer 的 key 量 15w 3600 = 54 亿条，RocksDBState 量达到 200M 3600 = 700G。

gydtep · 发表于 2020-3-4 16:51:26

第二个问题是 Timer Service 每一个记录都打开了一个窗口，在早期原生 Flink 中是一个内存队列，