gydtep
发表于 2022-11-4 20:03:08
MillWheel 使用了一种名为「Strong production」的机制将每个算子的输出在发送至下游之前都进行了持久化存储,一旦发生了故障,当需要恢复时,引擎可以直接将存储后的结果发出去。
gydtep
发表于 2022-11-4 20:33:45
MillWheel 使用了一种名为「Strong production」的机制将每个算子的输出在发送至下游之前都进行了持久化存储,一旦发生了故障,当需要恢复时,引擎可以直接将存储后的结果发出去。
gydtep
发表于 2022-11-5 15:31:00
如果下游是 MySQL,在 Flink 2PC 完成之前,来自不同 Flink 节点的数据输出后其实已经被 commit,类似 Kafka Broker 中的消息无法撤回,MySQL 提交的事务也无法回滚,因此输出数据中也需要有类似的字段实现隔离(isolation)语义,以屏蔽这种不一致的数据。
gydtep
发表于 2022-11-5 16:54:37
更进一步地,Kafka Streams 需要数据输入源和输出均为 Kafka 消息队列。
Kafka Streams 中的「结果」也以事务的方式批量持久化,但和 Flink 不同的是,这些结果是被写入不同的消息队列中:
gydtep
发表于 2022-11-7 09:24:52
这些不同的系统作用于不同的阶段,会产生大量的异构数据,如何对这些数据进行合理的管理和使用,从而可以比较方便地挖掘出其中的数据价值(不局限于软件质量方面),对我们来说是一个比较大的挑战。
gydtep
发表于 2022-11-7 15:04:09
并且让不同的数据之间进行联合查询也变成了可能。如下图所示,我们以标准 SQL 为基础,进行了部分 DSL 扩展和 SQL 函数扩展,并融合了 PromQL,从而让不同类型的数据查询和分析变得统一。
gydtep
发表于 2022-11-7 20:19:52
由于bug导致网络流量异常抖动。如果基于固定阈值来判断,此时处于指标值的上下界范围内,就很难发现问题;但是基于智能巡检,就可以很容易地判定这是一个异常点。
gydtep
发表于 2022-11-8 12:12:13
动态通知:可以根据告警属性动态分派通知。例如:测试环境的告警,通过短信通知到张三,并且只在工作时间通知;而生产环境的告警,通过电话通知到张三和李四,并且无论何时,都要进行通知。
gydtep
发表于 2022-11-9 09:30:55
此外,原来整个支撑信息时代最核心的基础技术例如芯片、计算架构,在过去12年开始被挑战、开始去革新,很多新型的算力开始出现,为整个数字时代奠定基础。
gydtep
发表于 2022-11-9 10:01:58
我们很幸运,因为双11,阿里可以站在整个行业、整个数字技术发展的肩膀上,同时也因为有了双11,阿里可以深度参与这场数字革命,贡献自己的力量。