gydtep

其次多模态知识图谱技术可以服务于各种下游领域，例如多模态实体链接技术可以融合多种模态下的相同实体，可应用于新闻阅读，同款商品识别等场景中，多模态知识图谱补全技术可以通过远程监督补全多模态知识图谱，完善现有的多模态知识图谱，多模态对话系统可用于电商推荐，商品问答领域。

gydtep

学术界的多模态预训练方案多基于Transformer模块，在应用上集中于图文任务，方案大多大同小异，主要差异在于采用模型结构与训练任务的差异组合，多模态预训练的下游任务可以是常规的分类识别、视觉问答、视觉理解推断任务等等。

gydtep

第一个方向是超级算力。过去12年，我们还在用信息时代的芯片架构、技术架构来支撑数字时代的发展，算力是整个上层技术和商业发展的瓶颈。下一个12年，我非常期待整个计算架构，整个芯片架构会实现变革性的突破，真正成为数字时代的算力架构。

gydtep

另外，POI数据是线上线下连接互动的一个纽带，是基于位置服务（Location Based Service）产业的一个重要组件。

高德通过自有海量的图像源，来保证现实世界的每一个新增的POI及时制作成数据。在较短时间间隔内（小于月度），同一个地方的POI 的变化量是很低的，如下图所示，只有“汤火功夫”POI是一个新增的挂牌。

gydtep

此外，图像检索还有一个必不可少的要素就是特征提取，通常包括：全局特征、局部特征、辅助特征等，主要是针对不同任务特点进行相应的优化，例如：行人重识别以及人脸识别具有很强的刚性约束，并且具备明显的关键特征（行人/人脸关键点），因此会将人体分割或关键点检测信息融合到模型特征提取中。

gydtep

左图来自低质量相机，并且是前向拍摄；右图来自高质量相机，并且是侧向拍摄；因为相机拍摄质量以及拍摄视角不同，这就导致POI牌匾的亮度、形状、清晰度等都存在非常大的差异。而如何在差异较大的异源数据中实现POI牌匾检索，是一个非常具有挑战性的问题。

gydtep

通常来说，传统特征点匹配算法会存在泛化性不足问题，由此生成的训练数据很可能导致模型无法很好学习，具体体现在：1）训练样本较为简单；2）类别冲突，即同一牌匾分为多个类别；3）类别错误，即不同牌匾分为同一类别。

gydtep

数据是非常重要的，因为模型很难做到完美，总是会存在Corner case，而解决Corner case的一个非常高效的手段就是针对性补充数据。补充数据的关键是如何挖掘Corner case以及如何自动标注，该方向也是目前学术的研究热点，即半监督学习以及主动学习。

gydtep

三、执行结果的校验：重点在于如何自动的进行结果数据的一致性校验。大致思路为：1）所有的数据最终会持久化落盘；2）基于持久化数据进行全字段对比；3）忽略规则配置；

gydtep

特征提取-特征聚合

将所有数据进行扩充完毕后，将所有相关字段进行打平处理，根据相同字段进行值的聚合，相同值记录次数，不相同时进行归类，如此便可将相关数据进行初始化的数据处理，然后根据聚合出来的数据进行默认值个数的判断进行特征的推荐。