gydtep

多模态商品知识图谱技术可以服务于各种下游领域，例如多模态实体链接技术可以融合多种模态下的相同实体，可以广泛应用于产品对齐，明星同款等场景中，多模态问答系统对于电商推荐，商品问答领域的进步有着重大的推进作用。但目前还相当缺乏有效的技术手段来有效融合这些多模态数据，以支持广泛的电商下游应用。

gydtep

(2)带有缺失和噪声的文本模态对性能的影响大于图像模态。对比3个基线的“标题噪声”和“图像噪声”，随着TNR的增加，模型性能下降了15.1% ~ 43.9%，而随着INR的增加，模型性能下降了2.8% ~ 10.3%，说明文本信息的作用更为重要。

gydtep

高德通过自有海量的图像源，来保证现实世界的每一个新增的POI及时制作成数据。在较短时间间隔内（小于月度），同一个地方的POI 的变化量是很低的，如下图所示，只有“汤火功夫”POI是一个新增的挂牌。

gydtep

牌匾检索的技术方案主要包括数据迭代和模型优化两块。在数据生成部分，我们分为了冷启动自动生成数据以及模型迭代生成数据两个步骤。

gydtep

在模型优化部分，我们设计了一个多模态检索模型，包括视觉分支和文本分支两部分，主要是考虑到牌匾的文本信息比较丰富，因此将视觉信息与文本信息进行融合。针对视觉信息特征的提取，我们进一步设计了全局特征分支与局部特征分支，并分别进行了优化。整体技术框架如下图所示：

gydtep

如文字信息，文字字体、板式，牌匾纹理等，因此我们的模型对于外观相似的不同牌匾具有更好的区分能力，如图(a)和图(d)效果对比。

gydtep

综上来看，Transformer可以通过对图像Patch的相关性建模来解决POI牌匾在遮挡/截断场景下的匹配效果，并且可以通过对文本特征编码来实现多模特征的融合。

gydtep

一、场景业务模型构建：重点在于如何自动化的构建出场景化的模型数据。大致的思路为：1）线上执行过后的订单数据存在诸多特征；2）根据线上落盘数据进行特征值分析；3）构建数据特征集合与对应的样本数据；

gydtep

三、执行结果的校验：重点在于如何自动的进行结果数据的一致性校验。大致思路为：1）所有的数据最终会持久化落盘；2）基于持久化数据进行全字段对比；3）忽略规则配置；

gydtep

第二个词是责任担当。科技必须能够承担起对未来的责任，以及对整个全人类的责任，这个责任我觉得特别重要。去年疫情爆发之后，我一直在想，如果科技没有发展到这个程度，没有这么好的数字化科技、这么强的生活科技，面对疫情我们该怎么面对？