此外，在判断「当前记录」是否已被处理时，MillWheel 使用了布隆过滤器用于前置过滤，因为在一个正常运行的流计算任务中，记录绝大多数的时间都是不重复的，这刚好契合布隆过滤器的使用场景（如过滤器返回不存在则记录一定不存
引擎中的每个节点都维护了以记录 ID 为主键的布隆过滤器，计算前都会通过此过滤器进行判断，若提示不存在则进行数据处理，如果存在，则需要二次校验。当然，MillWheel 在实际使用布隆过滤器，是做了若干改造的，这里就不具体展开了。
MillWheel 作为一个内部系统可以存储每一个中间结果，但是对于开源系统的 Apache Flink 来说，毕竟不是每一个公司都有这么完备的技术基建。Flink 会定期把结果以事务的方式进行批量存储，这里的「结果」如上面分析，由源状态 Source
ion机制来完成它们的交互。为了进一步提高性能，VLP应用了一个共享的多层Transformer进行编码和解码，用于图像字幕和VQA。基于单流架构，InterBERT将两个独立的Transformer流添加到单流模型的输出中，以捕获模态独立性。
下游领域，例如多模态实体链接技术可以融合多种模态下的相同实体，可以广泛应用于产品对齐，明星同款等场景中，多模态问答系统对于电商推荐，商品问答领域的进步有着重大的推进作用。但目前还相当缺乏有效的技术手段来有效融合这些多模态数据，以支持广泛的电商下游应用。
随着人工智能技术的不断发展，知识图谱作为人工智能领域的知识支柱，以其强大的知识表示和推理能力受到学术界和产业界的广泛关注。多模态知识图谱与传统知识图谱的主要区别是，传统知识图谱主要集中研究文本和数据库的实体和关系，而多模态知识图谱则在传统知识图谱的基础上，构建了多种模态（例如视觉模态）下的实体，以及多种模态实体间的多模态语义关系。如图1所示，在电商领域，多模态商品知识图谱通常有图像、标题和结构知识。
多模态商品知识图谱的应用场景十分广泛，多模态结构数据虽然在底层表征上是异构的，但是相同实体的不同模态数据在高层语义上是统一的，所以多种模态数据的融合有利于充分表达商品信息。多模态商品知识图谱技术可以服务于各种下游领域，例如多模态实体链接技术可以融合多种模态下的相同实体，可以广泛应用于产品对齐，明星同款等场景中，多模态问答系统对于电商推荐，商品问答领域的进步有着重大的推进作用。但目前还相当缺乏有效的技术手段来有效融合这些多模态数据，以支持广泛的电商下游应用。
和文本的多模态预训练模型主要可以分为单流模型和双流模型两种架构。VideoBERT，B2T2， VisualBERT， Unicoder-VL ， VL-BERT和UNITER使用了单流架构，即利用单个Transformer的self-attention机制同时建模图像和文本信息。
具体来说，对于样本多样性问题，我们使用了多趟资料的匹配结果来生成训练数据，因为在不同资料中同一牌匾存在多张来自不同视角的拍摄结果，这就保证了同一类别下牌匾的多样性，避免了自动生成的样本都为简单样本问题。Batch采样策略即按类别进行采样，而数据中类别总数远远大于batch size，因此可以缓解类别冲突的问题。MDR loss是在Triplet loss基础上设计了根据不同距离区间进行正则化约束的新的度量学习框架，从而减少模型对对噪声样本的过拟合。
为了优化牌匾检索效果，我们融合了牌匾中的视觉信息与文本信息，设计了多模态检索模型。针对视觉信息，我们优化了模型全局特征和局部特征的提取能力。针对文本信息，我们使用BERT对牌匾的OCR结果进行编码，将其作为辅助特征，并与视觉特征融合后进行度量学习。
0万千瓦时，减排二氧化碳2.6万吨。公开数据显示，2021年1-9月，阿里巴巴共交易绿电2.48亿千瓦时。自2018年至2021年9月，仅张北数据中心就累计交易约6亿千瓦时新能源电量，累计实现二氧化碳减排近52.3万吨。
