gydtep

因为 Exactly-Once 作为一个形容词，后面所连接的动词或者宾语被故意抹去了，不同的表达含义也会大相径庭。

gydtep

F(E(t), O(t)) = O(t+1)

结合流计算上面流计算一致性的定义，我们希望在引擎发生故障 FailOver 时，存在一种恢复函数 R 使得

gydtep

譬如只有部分节点的结果输出了，其他节点发生了故障结果丢失，则可以通过回到上个批次提交的状态，重算此批次数据

gydtep

输出结果 Sink(t) ：即用户配置的实际的输出队列，用于存放计算结果。

gydtep

源状态和算子状态以 RDD 血缘的方式天然地和输出结果进行了绑定，即当输出最终结果时，我们其实也一并输出了源和算子状态，操作符合一致性条件。

gydtep

更进一步，当把仅有确定性计算（幂等输出）的 Spark Streaming 和 仅有确定性计算（幂等输出）的的 Flink 进行对比时，会发现二者非常相似。

gydtep

本议题主要通过可观测性的角度来讨论基于海量日志和时序数据的质量建设最佳实践。

二 质量建设痛点

gydtep

依赖规则，缺乏智能：质量监控比较依赖于人的经验，很大程度上受限于人为设定的规则和阈值，无法做到数据自适应

gydtep

告警风暴与告警误报：为了不错过细微的问题，我们可能会配置大量的监控，从而导致在完整的软件生命周期中可能产生大量的告警

gydtep

监控自适应：可以基于历史数据自动学习和进化，进行动态的阈值判断，从而让告警更加精准。另外对数据的学习也是实时的，可以更加快速地发现异常问题。