gydtep
发表于 2022-10-10 14:35:46
自推出玄铁910两年多来,平头哥大力推动了RISC-V软硬件生态的发展,适配了AliOS、FreeRTOS、RT-Thread、Linux、Android等操作系统,在百余款芯片中得到了应用
gydtep
发表于 2022-10-11 16:53:40
据《财新》报道,RISC-V已经吸引了谷歌、阿里巴巴、三星、华为、英伟达、西部数据等全球500多家企业参与研发。
gydtep
发表于 2022-10-12 10:06:04
中国工程院院士倪光南曾预测,在CPU领域,未来将形成英特尔(x86)、Arm、RISC-V三分天下的格局。根据 Semico Research 的预测,到2025年,全球市场的RISC-V核心数将达到624亿,其中工业应用增幅最大,将占据167亿颗。
gydtep
发表于 2022-10-12 18:50:30
第二部分,会介绍一致性难题的通用解法以及各种方案间的取舍;第三部分,会介绍主流的流计算引擎是如何对通用解法进行泛化以实现一致性。
gydtep
发表于 2022-10-13 15:22:34
正确的结果贯穿着这整个流计算应用的始终:从输入、处理过程、输出,每一个环节都需要保证其自身的数据一致性,同时在整个流计算流程中,作为整体实现了端到端的一致性。
gydtep
发表于 2022-10-14 14:11:03
通用解法的工程实现
我们将端到端一致性问题的解法结合工程实践,分析一下通用解法下的若干实现场景。
在通用解法中,我们需要存储每一次计算的中间结果,这对引擎的架构设计、配套基建能力有着很高的要求
gydtep
发表于 2022-10-15 19:44:33
源状态 SourceState(t):即 Kafka 源中的 Offset 信息,会被写入一个单独的 Kafaka 队列中,该队列对用户透明;
算子状态 OperatorState(t) :计算中算子的 Changelog,也会写入单独的 Kafaka 队列中,该队列对用户透明;
gydtep
发表于 2022-10-17 10:11:27
此外,同其他分布式应用一样,流计算系统经常也会受到各类意外因素的影响而发生故障,比如流量激增、网络抖动、云服务资源分配出现问题等,发生故障后重新执行计算,在存在不确定输入的前提下设计健壮的容错机制难度很大。
gydtep
发表于 2022-10-18 08:21:16
例子1,后接不同的动(名)词:Exactly-once Delivery 和 Exactly-once Process 。前者是对消息传输层面的语义表达,和流计算的一致性关系不是很大,后者是从流计算的应用层面去描述数据处理过程。
gydtep
发表于 2022-10-18 17:29:16
State(t) = OperatorState(t) + SourceState(t)
则定义流计算引擎的计算过程为,存在计算计算逻辑 F 使得:
F(E(t), Sink(t), State(t)) = Sink(t+1) + State(t)