gydtep

目前流计算引擎的种类非常多，不是所有的引擎都可以实现端到端一致的流处理，在具备此能力的引擎中，从技术成本、引擎架构、能力范围考虑，会有不同的取舍和实现，如 Flink 中使用了轻量级的「分布式一致性快照」用于状态管理，Kafka Streams 为何没有使用呢？实现了幂等输出就一定能实现端到端一致么？本章节会一一解答上述问题。

gydtep

举例：Kafka Streams 的输出后端需要是 Kafka，以配合在事务提交过程中，屏蔽部分已输出至下游（被 Kafka Broker 持久化），但还不满足事务隔离性的消息（read_committed 级别），从流计算输出的角度来看，这些消息已被成功处理同时输出至下游，但从端到端的一致性来看，

gydtep

不同之处在于：1、Spark Streaming 在计算过程中的每一个 RDD 生成阶段都会有延迟，而 Flink 在计算过程中可以进行实时处理；2、Spark Streaming 只有一个「epoch」，而 Flink 可以有多个 「epoch」并行存在。基于上述两点原因，Flink 的数据处理的端到端延迟要小得多，但这两种引擎幂等输出能实现一致性的本质是相似的。

gydtep

基于上述的讨论，我们可以大体总结出质量观测的几个痛点：

海量的异构数据：在系统开发、测试、验证、上线等各个阶段产生了大量的日志、时序、Trace 等数据，这些数据产生的位置、数据格式、以及存储的位置，都有可能是不一样的。如何从这些数据中快速精准地挖掘出潜在的质量问题比较困难。

gydtep

扩展困难：随着数据规模的增长，软件的扩展能力、性能、稳定能力等方面都会有很大的挑战。
数据孤岛：不同的数据处于不同的系统中，协同困难。例如想要将 ES 中的日志和 Prometheus 中的指标进行一个 Join 查询就无法实现，除非做额外的二次开发。

gydtep

通知管理能力弱：许多告警管理系统只是简单地将告警消息发送出去，存在着通知渠道不完善、通知内容不符合用户需求、无法支持值班需求等等问题。

gydtep

告警的智能管理，除了基于规则的降噪，还会加入更多的算法支持，根据告警内容自动进行聚类，减少告警通知风暴

gydtep

这里有非常逼真的现场和舞台效果，同时，我们也能对商品做出3D虚拟化的展示，还可以通过AI数字人给商家提供服务，根据商家全量多模态商品介绍剧本，对商品进行讲解、对话互动、问题解答，帮助商家做更好的直播。

gydtep

目前已有300多辆小蛮驴在200多家校园给同学配送货品，过程中最让我们感动的是在体验上收获了用户的口碑，一位不知名的同学在小蛮驴上面贴了一张纸条，留下了这样一句非常温暖的话，“花不一定是为了花店而开，但是我为你而来”，这让我们非常感动。“好科技”可以是非常温暖的。

gydtep

2021阿里巴巴双11十大技术亮点
每年双11我们都会公布比较有代表性的技术，即十大技术突破点，它们代表着阿里技术的方向和技术价值观。今年我们的核心技术价值观是阿里巴巴要做“好科技”，我们的科技不仅是自立自强的高科技，而且应该是人人受益、责任担当、开放共享的好科技。围绕基础算力突破、绿色科技、体验创新、产业赋能这四个方向，我们选择了今年十大技术亮点。