gydtep

遮挡严重

在道路场景中，经常存在树木以及车辆等干扰信息，并且由于拍摄视角原因，拍摄到的POI牌匾经常会面临严重的遮挡问题，如下图所示：

gydtep

POI牌匾还有一个独有特性就是对文本强依赖，主要是对POI名称文本的依赖。在下图场景中，两个牌匾的整体布局以及颜色都非常相似，但是其中POI名称发生了变化。而在该场景下，我们希望两个牌匾不要匹配，这就需要引入文本特征来增强特征区分性。

gydtep

不过，由于遮挡原因也会导致文本特征不同，因此需要结合图像特征进行权衡。而且，文本特征和图像特征来自多个模态，如何将多模信息进行融合也是该业务特有的技术难点。

gydtep

在针对全局特征进行优化以后，现有模型仍然在以下三个方面表现不够好：1）牌匾截断的情况，特征学习质量差，如图8(a)；2）遮挡的牌匾，特征中引入一些无关的上下文信息，如图8(b)；3）相似但不同的牌匾难以区分，如图8(c)。因此，我们进一步设计了局部特征分支[1]，让模型更加关注牌匾的几何、纹理等局部信息，与全局特征共同做牌匾检索。

gydtep

针对局部特征的提取，我们主要的思路是将牌匾垂直切分成几个部分，分别关注每个部分的局部特征[7]，并对局部特征进行对齐后优化。

gydtep

POI牌匾对文本强依赖，可能存在仅牌匾名称文本发生变化的场景。我们设计的全局特征分支以及局部特征分支，虽然可一定程度上学习到文本特征，但是文本信息在整体信息中占比较小，并且监督信号仅为两张图是否相似，导致文本特征并没有被很好的学习到。

gydtep

因此，我们利用已有的文本OCR识别结果，并引入BERT对OCR结果进行编码得到文本特征，该特征作为辅助特征分支和视觉特征进行融合，融合后的特征用于最终的牌匾检索度量学习。

gydtep

Transformer是目前学术的研究热点，大量的工作已证明其在分类、检测、分割、跟踪以及行人重识别等任务上的有效性。和CNN相比，Transformer具有全局感受野以及高阶相关性建模的特点，使其在特征提取上有着更好的表征能力。

gydtep

10月19日，2021云栖大会现场，阿里云智能总裁张建锋宣布，平头哥开源玄铁RISC-V系列处理器，并开放系列工具及系统软件。这是系列处理器与基础软件的全球首次全栈开源，将推动RISC-V架构走向成熟，帮助RISC-V软硬件技术加速融合发展，推动创新落地。

gydtep

平头哥乐见更多学术机构和商业组织开源RISC-V处理器，我们也与中科院计算所有相关合作，共同探索RISC-V先进架构。
具体而言，香山处理器更侧重于敏捷开发技术，基于Chisel开发语言，对于科研领域意义重大。