gydtep

同时，我们需要注意到的是，Flink 和 Kafaka 中的「事务」提交，和我们常规的操作关系型数据库中的事务还是有所不同的，后者的事务提交对象一般就一个（e.g. MySQL Server），

gydtep

考虑一种比较简单的场景：不存在非确定计算的流计算应用。如果不存在非确定计算，根据端到端的一致性语义的充分必要条件，只需要接受端实现幂等

gydtep

下图比较概括地描述了一个系统的质量观测完整生命周期，大体上可以分为如下四个阶段，并且在每个阶段都有需要特别关注的一些数据和指标：

gydtep

基于上述的讨论，我们可以大体总结出质量观测的几个痛点：

海量的异构数据：在系统开发、测试、验证、上线等各个阶段产生了大量的日志、时序、Trace 等数据，这些数据产生的位置、数据格式、以及存储的位置，都有可能是不一样的。如何从这些数据中快速精准地挖掘出潜在的质量问题比较困难。

gydtep

在这里，我们将日志、指标、Trace等数据全部接入到一个统一的可观测性存储中。然后基于这个统一的存储，进行后续的查询分析、可视化、监控告警、AI 等上层能力

gydtep

动态反馈：除了自动学习之外，还可以通过用户的反馈，对告警进行确认或者误报标记，将 AI 能力与人的经验相结合，相辅相成，进一步完善模型，减少误报。

gydtep

关于对未来的展望：

目前质量观测，数据的统一采集和管理，分析、可视化、监控等能力已经都相对完善

gydtep

非常幸运，过去12年我们赶上了整个数字技术的一场波澜壮阔的革命，很多技术经历了从无到有。第一个是云，过去12年有一个非常清晰的脉络，

gydtep

第二个非常大的变化是AI。这12年以深度学习为代表的技术，慢慢从理论变成非常实用的技术，进入商业的各个环节，提升商业每一个环节的效率、质量。

gydtep

新起点 今年双11的技术新实践
之所以会有以上四个未来技术前进方向的判断和预测，也是来源于我们的实践。今年双11上我们也在这些方向上做了初步的实践。