[国内信息] 腾讯云轻量应用服务器1核2G5M首年38元 [复制链接]
查看:482845 | 回复:916

gydtep · 发表于 2023-8-17 14:13:59

目前CNCF社区的边缘云计算开源项目主要针对就是上面三点挑战，利用Kubernetes多插件支持能力，

gydtep · 发表于 2023-8-18 12:16:45

但是目前都是属于CNCF的孵化或沙箱项目，未来的项目发展还是取决于各自生态的建设和完善。

gydtep · 发表于 2023-8-23 13:59:52

F(E(t), Sink(t), State(t)) = Sink(t+1) + State(t)

令 O(t) = Sink(t) + State(t)，即将计算对引擎状态的更新视为一种特殊的输出，则流计算过程可简化为：

gydtep · 发表于 2023-8-25 09:03:39

在确定性计算的前提下，如果引擎输出结果的接受端是可以实现为幂等，则很多约束条件会有所简化。

gydtep · 发表于 2023-8-28 13:14:43

算子的状态快照存储类似于 2PC 的 Prepare 阶段，但 Commit 的确认仅需 Coordinator（ Flink JobManager）根据「是否收到了完整算子的 ACK 」来推出是否 Commit 或 Abort。

gydtep · 发表于 2023-8-29 14:04:33

所以平均事务大小由提交间隔确定，当流量相同时，较短的提交间隔将导致较小的事务，

gydtep · 发表于 2023-8-30 14:34:43

则需要对自行维护和判断一些信息。同传统的批处理系统类似，流处理中也是以 RDD 构建出整个的数据血缘，当发生 FailOver 时，则重新计算整个 RDD 就可以了。

gydtep · 发表于 2023-8-31 17:18:35

本文论述的端到端一致的流数据处理实现，重点聚焦在「计算和状态」管理，但实际上，还有很多因素需要我们去考虑，如时间窗口的推导、

gydtep · 发表于 2023-9-1 20:47:14

线上运行：此时需要重点关注系统的稳定性以及业务的稳定性，因此各种线上的性能指标、业务指标、应用日志、Trace等各种数据都是非常重要的

gydtep · 发表于 2023-9-3 19:39:10

由此不可避免地导致漏报、误报等问题。无法做到数据的自适应，因此需要人为介入，不断调整阈值。例如下图：