gydtep 发表于 2022-11-4 20:03:08

MillWheel 使用了一种名为「Strong production」的机制将每个算子的输出在发送至下游之前都进行了持久化存储,一旦发生了故障,当需要恢复时,引擎可以直接将存储后的结果发出去。

gydtep 发表于 2022-11-4 20:33:45

MillWheel 使用了一种名为「Strong production」的机制将每个算子的输出在发送至下游之前都进行了持久化存储,一旦发生了故障,当需要恢复时,引擎可以直接将存储后的结果发出去。

gydtep 发表于 2022-11-5 15:31:00

如果下游是 MySQL,在 Flink 2PC 完成之前,来自不同 Flink 节点的数据输出后其实已经被 commit,类似 Kafka Broker 中的消息无法撤回,MySQL 提交的事务也无法回滚,因此输出数据中也需要有类似的字段实现隔离(isolation)语义,以屏蔽这种不一致的数据。

gydtep 发表于 2022-11-5 16:54:37

更进一步地,Kafka Streams 需要数据输入源和输出均为 Kafka 消息队列。

Kafka Streams 中的「结果」也以事务的方式批量持久化,但和 Flink 不同的是,这些结果是被写入不同的消息队列中:

gydtep 发表于 2022-11-7 09:24:52

这些不同的系统作用于不同的阶段,会产生大量的异构数据,如何对这些数据进行合理的管理和使用,从而可以比较方便地挖掘出其中的数据价值(不局限于软件质量方面),对我们来说是一个比较大的挑战。

gydtep 发表于 2022-11-7 15:04:09

并且让不同的数据之间进行联合查询也变成了可能。如下图所示,我们以标准 SQL 为基础,进行了部分 DSL 扩展和 SQL 函数扩展,并融合了 PromQL,从而让不同类型的数据查询和分析变得统一。

gydtep 发表于 2022-11-7 20:19:52

由于bug导致网络流量异常抖动。如果基于固定阈值来判断,此时处于指标值的上下界范围内,就很难发现问题;但是基于智能巡检,就可以很容易地判定这是一个异常点。

gydtep 发表于 2022-11-8 12:12:13

动态通知:可以根据告警属性动态分派通知。例如:测试环境的告警,通过短信通知到张三,并且只在工作时间通知;而生产环境的告警,通过电话通知到张三和李四,并且无论何时,都要进行通知。

gydtep 发表于 2022-11-9 09:30:55

此外,原来整个支撑信息时代最核心的基础技术例如芯片、计算架构,在过去12年开始被挑战、开始去革新,很多新型的算力开始出现,为整个数字时代奠定基础。

gydtep 发表于 2022-11-9 10:01:58

我们很幸运,因为双11,阿里可以站在整个行业、整个数字技术发展的肩膀上,同时也因为有了双11,阿里可以深度参与这场数字革命,贡献自己的力量。
页: 512 513 514 515 516 517 518 519 520 521 [522] 523 524 525 526 527 528 529 530 531
查看完整版本: 免费领取阿里云服务器2000元代金券!