gydtep

实际上，这个任务的本质是学习一个模型来评估两个项目的多模态信息的相似性。直觉上，当对齐的商品对中的两个项目同时缺少标题或图像时，它们的信息看起来比一个项目缺少标题或图像而另一个项目什么都不缺时更相似。

gydtep

遮挡严重

在道路场景中，经常存在树木以及车辆等干扰信息，并且由于拍摄视角原因，拍摄到的POI牌匾经常会面临严重的遮挡问题，如下图所示：

gydtep

而且该遮挡场景还是不规则的，导致很难对两个牌匾进行较好地特征对齐，这给POI牌匾检索带来巨大的挑战。

文本依赖性

gydtep

是Triplet loss和MDR loss的对比示意图。MDR loss希望正样本和anchor之间的距离不被拉到无限近，同时负样本也不希望被推到无限远。以类别错误噪声样本来说，不同牌匾被误分为同一类别，按照Triplet loss的优化目标则会强制模型将两者距离学习到无限近，这样的话，模型会过拟合到噪声样本上，从而导致最终效果较差。

gydtep

半监督学习利用有标签数据训练出的模型来对海量无标签数据产生伪标签，进一步标签数据和伪标签数据混合后再优化模型。主动学习是利用有标签数据训练出的模型对海量无标签数据进行数据挖掘，并人工标注挖掘出的有价值数据。

gydtep

两者区别在于是否需要部分人工标注，半监督学习是完全由模型自身产生标签，但是可能导致模型效果存在上限，而主动学习则可以一定程度可提高该上限，因此未来需要深入研究两者的结合，从而更好的补充训练数据，解决Corner case。

gydtep

业务场景全覆盖的挑战
从业界来说，比较难的也同样是如何用比较简单的手段做到业务的全场景覆盖，对盒马来说也同样。

gydtep

首先，盒马的业务场景众多，包括inbound与outbound全流程，端到端的全流程多业态，含O2O模式、B2C模式、F2模式、Mini模式、Mall模式、X会员店模式、产地量贩模式、盒马邻里模式等。这么多种业务场景很难一一枚举。

gydtep

业务场景的真实覆盖率也难以度量，人工枚举的业务场景极易有遗漏，线上已频发漏测问题，无法覆盖线上全量场景，同时测试的场景覆盖率难以衡量，需要找到线上场景分母。

gydtep

3、特征聚合：依赖于特征的规则，进行所有字段的聚合，最终根据枚举类型字段出现次数进行有效判断，目前我们设定的值为20，这个值可以动态调整，仅仅为参考值而已。