gydtep

自推出玄铁910两年多来，平头哥大力推动了RISC-V软硬件生态的发展，适配了AliOS、FreeRTOS、RT-Thread、Linux、Android等操作系统，在百余款芯片中得到了应用

gydtep

据《财新》报道，RISC-V已经吸引了谷歌、阿里巴巴、三星、华为、英伟达、西部数据等全球500多家企业参与研发。

gydtep

中国工程院院士倪光南曾预测，在CPU领域，未来将形成英特尔（x86）、Arm、RISC-V三分天下的格局。根据 Semico Research 的预测，到2025年，全球市场的RISC-V核心数将达到624亿，其中工业应用增幅最大，将占据167亿颗。

gydtep

第二部分，会介绍一致性难题的通用解法以及各种方案间的取舍；第三部分，会介绍主流的流计算引擎是如何对通用解法进行泛化以实现一致性。

gydtep

正确的结果贯穿着这整个流计算应用的始终：从输入、处理过程、输出，每一个环节都需要保证其自身的数据一致性，同时在整个流计算流程中，作为整体实现了端到端的一致性。

gydtep

通用解法的工程实现
我们将端到端一致性问题的解法结合工程实践，分析一下通用解法下的若干实现场景。

在通用解法中，我们需要存储每一次计算的中间结果，这对引擎的架构设计、配套基建能力有着很高的要求

gydtep

源状态 SourceState(t)：即 Kafka 源中的 Offset 信息，会被写入一个单独的 Kafaka 队列中，该队列对用户透明；
算子状态 OperatorState(t) ：计算中算子的 Changelog，也会写入单独的 Kafaka 队列中，该队列对用户透明；

gydtep

此外，同其他分布式应用一样，流计算系统经常也会受到各类意外因素的影响而发生故障，比如流量激增、网络抖动、云服务资源分配出现问题等，发生故障后重新执行计算，在存在不确定输入的前提下设计健壮的容错机制难度很大。

gydtep

例子1，后接不同的动（名）词：Exactly-once Delivery 和 Exactly-once Process 。前者是对消息传输层面的语义表达，和流计算的一致性关系不是很大，后者是从流计算的应用层面去描述数据处理过程。

gydtep

State(t) = OperatorState(t) + SourceState(t)

则定义流计算引擎的计算过程为，存在计算计算逻辑 F 使得：

F(E(t), Sink(t), State(t)) = Sink(t+1) + State(t)