gydtep 发表于 2021-11-29 16:43:23
上述逻辑的推导过程是没问题的,但并不严谨,因为 Exactly-Once 作为一个形容词,后面所连接的动词或者宾语被故意抹去了,不同的表达含义也会大相径庭。gydtep 发表于 2021-11-30 09:49:37
具体地,E(t) 可以通过回拨数据偏移量得到,O(t) 需要从持久化存储中获取。O(t) 是否可以通过递归重算得到呢,即 O(t) = F(E(t-1), O(t-1)) ,答案是不可以,因为计算过程中可能存在不确定的计算逻辑,如果重算,则有一定概率 O(t) ≠ F(E(t-1), O(t-1)) 。gydtep 发表于 2021-11-30 19:44:47
但 Commit 的确认仅需 Coordinator( Flink JobManager) 根据「是否收到了完整算子的 ACK 」来推出是否 Commit 或 Abort。将结果输出纳入快照生成的 2PC 后,端到端一致性数据处理语义的充分必要条件在这里也得到了满足:gydtep 发表于 2021-12-1 14:03:37
更进一步,当把仅有确定性计算(幂等输出)的 Spark Streaming 和 仅有确定性计算(幂等输出)的的 Flink 进行对比时,会发现二者非常相似。RDD 血缘类比分布式一致性快照,批量输出类比一致性快照后的结果输出,微批类比 epoch。gydtep 发表于 2021-12-2 07:56:21
开发阶段:重点需要关注代码的质量,例如静态代码扫描以及依赖检查会发现潜在的代码缺陷和安全风险,由此我们可以统计千行代码缺陷率或者严重缺陷比例,从而来衡量一个系统的代码质量是否符合要求gydtep 发表于 2021-12-2 21:07:06
例如主机负载高,导致该主机上服务异常、接口延迟高、HTTP Error 报错多等多种问题并发,从而段时间内有大量的告警触发,以及大量的告警消息通知。缺乏合理的降噪机制。gydtep 发表于 2021-12-5 07:22:58
能否打造一个模拟现实的环境,去做买家和卖家的互动、商品的交互?于是我们提供了一个虚拟直播间,商家只需要一个很小的地方,一片绿幕,便可以虚拟数几千平方的空间,gydtep 发表于 2021-12-6 10:00:29
多模态预训练的下游任务可以是常规的分类识别、视觉问答、视觉理解推断任务等等。VideoBERT是多模态预训练的第一个作品,它基于BERT训练大量未标记的视频文本对。gydtep 发表于 2021-12-6 14:53:37
(1)modal-encoding layer。在对每个模态的单个信息进行编码时,针对图像模态、文本模态以及知识模态,我们采用基于Transformer的编码器提取图像、文本、三元组表面形式的初始特征。其中文本模态和知识模态的编码器参数共享。gydtep 发表于 2021-12-7 09:29:24
图像检索的核心技术是度量学习,其目标是在固定维度的特征空间中,约束模型将同类别样本拉近,不同类别样本推远。