[国内信息] 阿里云2000元专属红包领取及使用说明 [复制链接]
查看:831813 | 回复:7826

gydtep · 发表于 2022-10-15 16:46:23

算子的状态快照存储类似于 2PC 的 Prepare 阶段，但 Commit 的确认仅需 Coordinator（ Flink JobManager）根据「是否收到了完整算子的 ACK 」

gydtep · 发表于 2022-10-16 18:44:14

Spark Streaming 只能保证引擎内部的处理逻辑是一致的，但是对于结果输出，则并没有做特别的抽象，因此如果我们希望实现端到端的一致性语义，则需要对自行维护和判断一些信息。

gydtep · 发表于 2022-10-16 20:00:38

同传统的批处理系统类似，流处理中也是以 RDD 构建出整个的数据血缘，当发生 FailOver 时，则重新计算整个 RDD 就可以了。

gydtep · 发表于 2022-10-17 08:06:06

更进一步，当把仅有确定性计算（幂等输出）的 Spark Streaming 和仅有确定性计算（幂等输出）的的 Flink 进行对比时，会发现二者非常相似。RDD 血缘类比分布式一致性快照

gydtep · 发表于 2022-10-17 19:15:21

常见的非确定性计算包括使用了随机数、使用系统时间、字符串拼接等。如果流计算中存在非确定性的计算，则会给端到端一致性的实现造成很多困难，部分引擎并不能很好地支持此类场景。

gydtep · 发表于 2022-10-18 09:23:06

而仅指引擎内部的状态，譬如各个算子的状态、实时流的消费偏移等，流计算引擎内部状态变更的保证，并不能等价于从输入到输出的一致性，端到端一致性需要你自己关心。

gydtep · 发表于 2022-10-18 19:12:24

我们在这里将引擎状态作为一种特殊输出的考虑有两点。其一，引擎的状态一般也是输出到外部存储如 RocksDB/HDFS，这和计算下游的输出别无二致。

gydtep · 发表于 2022-10-19 12:15:29

这些不同的系统作用于不同的阶段，会产生大量的异构数据，如何对这些数据进行合理的管理和使用，从而可以比较方便地挖掘出其中的数据价值（不局限于软件质量方面），对我们来说是一个比较大的挑战。

gydtep · 发表于 2022-10-19 16:36:20

在这里，我们将日志、指标、Trace等数据全部接入到一个统一的可观测性存储中。然后基于这个统一的存储，进行后续的查询分析、可视化、监控告警、AI 等上层能力，甚至还可以进行数据的加工和规整，一站式地完成异构数据到同构数据的转换过程。

gydtep · 发表于 2022-10-20 12:52:22

监控规则无法自适应：基于人为定义的阈值，很大程度上依赖于人的经验，随着系统的演化和业务的发展，这些规则往往不能很好地适应