gydtep

PolarDB IMCI VS MySQL串行
在TPC-H场景下，所有22条Query ，IMCI处理延时相对比原生MySQL都有数十倍到数百倍不等的加速效果。其中Q6的的效果将近400倍。体现出了IMCI的巨大优势。

gydtep

高德地图携手中国计算机学会发布“POI名称生成”赛题，内容新颖，与计算机视觉、NLP、多模融合等前沿技术相关，具有很大的技术价值和实际的社会应用价值。欢迎感兴趣的同学参加或推荐给朋友，让我们一起用技术让亿万用户的出行体验更美好。

gydtep

POI 是 Point of Interest 的缩写。在电子地图上，POI 代表餐厅、超市、政府机关、旅游景点、交通设施等等 。POI是电子地图的核心数据。对普通用户而言，POI 数据包含的名称和位置信息，能够满足其使用电子地图“查找目的地”，进而唤起导航服务的基本需求；

gydtep

左图来自低质量相机，并且是前向拍摄；右图来自高质量相机，并且是侧向拍摄；因为相机拍摄质量以及拍摄视角不同，这就导致POI牌匾的亮度、形状、清晰度等都存在非常大的差异。而如何在差异较大的异源数据中实现POI牌匾检索，是一个非常具有挑战性的问题。

gydtep

牌匾检索的技术方案主要包括数据迭代和模型优化两块。在数据生成部分，我们分为了冷启动自动生成数据以及模型迭代生成数据两个步骤。在模型优化部分，我们设计了一个多模态检索模型，包括视觉分支和文本分支两部分，主要是考虑到牌匾的文本信息比较丰富，因此将视觉信息与文本信息进行融合。针对视觉信息特征的提取，我们进一步设计了全局特征分支与局部特征分支，并分别进行了优化。整体技术框架如下图所示：

gydtep

我们采用了空间注意力机制SGE（Spatial Group-wise Enhance）[4]，SGE通过对特征图上的每个空间位置生成一个注意力因子来调整每个空间位置处特征的重要性。

gydtep

为了减少局部特征的损失，我们对网络backbone进行了改进，取消了ResNet网络最后一个block中的下采样，使得最终的特征图中包含更多的局部信息。

gydtep

我们设计的全局特征分支以及局部特征分支，虽然可一定程度上学习到文本特征，但是文本信息在整体信息中占比较小，并且监督信号仅为两张图是否相似，导致文本特征并没有被很好的学习到。

gydtep

这些Bad case就是我们设计的多模态检索模型的初衷，并且也在优化过程逐渐得以解决，如图(d)、(e)、(f)所示。我们提出的多模态检索模型通过对全局特征优化以及引入局部特征对齐，使得模型更多关注到牌匾上更有区分性的局部特征，如文字信息，

gydtep

Transformer是目前学术的研究热点，大量的工作已证明其在分类、检测、分割、跟踪以及行人重识别等任务上的有效性。和CNN相比，Transformer具有全局感受野以及高阶相关性建模的特点，使其在特征提取上有着更好的表征能力。