[国内信息] 免费领取阿里云服务器2000元代金券！ [复制链接]
查看:818141 | 回复:5941

gydtep · 发表于 2022-11-4 20:03:08

MillWheel 使用了一种名为「Strong production」的机制将每个算子的输出在发送至下游之前都进行了持久化存储，一旦发生了故障，当需要恢复时，引擎可以直接将存储后的结果发出去。

gydtep · 发表于 2022-11-4 20:33:45

MillWheel 使用了一种名为「Strong production」的机制将每个算子的输出在发送至下游之前都进行了持久化存储，一旦发生了故障，当需要恢复时，引擎可以直接将存储后的结果发出去。

gydtep · 发表于 2022-11-5 15:31:00

如果下游是 MySQL，在 Flink 2PC 完成之前，来自不同 Flink 节点的数据输出后其实已经被 commit，类似 Kafka Broker 中的消息无法撤回，MySQL 提交的事务也无法回滚，因此输出数据中也需要有类似的字段实现隔离（isolation）语义，以屏蔽这种不一致的数据。

gydtep · 发表于 2022-11-5 16:54:37

更进一步地，Kafka Streams 需要数据输入源和输出均为 Kafka 消息队列。

Kafka Streams 中的「结果」也以事务的方式批量持久化，但和 Flink 不同的是，这些结果是被写入不同的消息队列中：

gydtep · 发表于 2022-11-7 09:24:52

这些不同的系统作用于不同的阶段，会产生大量的异构数据，如何对这些数据进行合理的管理和使用，从而可以比较方便地挖掘出其中的数据价值（不局限于软件质量方面），对我们来说是一个比较大的挑战。

gydtep · 发表于 2022-11-7 15:04:09

并且让不同的数据之间进行联合查询也变成了可能。如下图所示，我们以标准 SQL 为基础，进行了部分 DSL 扩展和 SQL 函数扩展，并融合了 PromQL，从而让不同类型的数据查询和分析变得统一。

gydtep · 发表于 2022-11-7 20:19:52

由于bug导致网络流量异常抖动。如果基于固定阈值来判断，此时处于指标值的上下界范围内，就很难发现问题；但是基于智能巡检，就可以很容易地判定这是一个异常点。

gydtep · 发表于 2022-11-8 12:12:13

动态通知：可以根据告警属性动态分派通知。例如：测试环境的告警，通过短信通知到张三，并且只在工作时间通知；而生产环境的告警，通过电话通知到张三和李四，并且无论何时，都要进行通知。

gydtep · 发表于 2022-11-9 09:30:55

此外，原来整个支撑信息时代最核心的基础技术例如芯片、计算架构，在过去12年开始被挑战、开始去革新，很多新型的算力开始出现，为整个数字时代奠定基础。

gydtep · 发表于 2022-11-9 10:01:58

我们很幸运，因为双11，阿里可以站在整个行业、整个数字技术发展的肩膀上，同时也因为有了双11，阿里可以深度参与这场数字革命，贡献自己的力量。