gydtep

多模态结构数据虽然在底层表征上是异构的，但是相同实体的不同模态数据在高层语义上是统一的，所以多种模态数据的融合对于在语义层级构建多种模态下统一的语言表示模型提出数据支持。

gydtep

预训练技术在计算机视觉(CV)领域如VGG、Google Inception和ResNet，以及自然语言处理(NLP)如BERT、XLNet和GPT-3的成功应用，启发了越来越多的研究者将目光投向多模态预训练。本质上，多模态预训练期望学习到两种或多种模态间的关联关系。

gydtep

下一个12年 科技从更高到更好
过去的12年非常精彩，下一个12年更加让人期待。站在这个时间点，从技术的视角看，未来12年可能会发生什么？什么是未来前进的方向？什么是未来突破的重点？以下4个方向特别重要。

gydtep

POI 是 Point of Interest 的缩写。在电子地图上，POI 代表餐厅、超市、政府机关、旅游景点、交通设施等等 。POI是电子地图的核心数据。对普通用户而言，POI 数据包含的名称和位置信息，能够满足其使用电子地图“查找目的地”，进而唤起导航服务的基本需求；对电子地图而言，通过提供“搜索附近”、“点评”等操作，可提高用户的活跃时长。

gydtep

. 同一地方上不同时间的POI牌匾对比

如果对全部POI进行处理的话，则会带来高昂的作业成本，因此需要对其中没有变化的POI进行自动化过滤，其中关键技术能力就是图像匹配，该场景是一个较为典型的图像检索任务。

1 技术定义

gydtep

图像检索问题定义：给定查询图像（Query），通过分析视觉内容，在大型图像库中（Gallery）中搜索出相似的图像。该方向一直是计算机视觉领域的一个长期研究课题，在行人重识别、人脸识别、视觉定位等任务中均有广泛的研究。

gydtep

在深度学习时代，主要有几种经典的结构，包括：对比损失（contractive loss）、三元组损失(triplet loss)、中心损失（center loss）等，均是通过正负样本定义以及损失函数设计上进行优化。

gydtep

异源数据

行人重识别任务也存在异源数据问题，但是该任务的异源更多是不同相机拍摄以及不同场景的区别。而在POI牌匾检索场景中，存在更严重的异源数据问题，如下图所示：

gydtep

遮挡严重

在道路场景中，经常存在树木以及车辆等干扰信息，并且由于拍摄视角原因，拍摄到的POI牌匾经常会面临严重的遮挡问题，如下图所示：

gydtep

首先利用传统匹配算法Sift自动生成模型所需的训练数据，完成模型的冷启动；并且在模型上线后，对线上人工作业结果进行自动挖掘，并组织成训练数据，以迭代模型优化。多模态检索模型是基于三元组损失（Triplet Los）的度量学习框架下进行设计的，