gydtep

预训练技术在计算机视觉(CV)领域如VGG、Google Inception和ResNet，以及自然语言处理(NLP)如BERT、XLNet和GPT-3的成功应用，启发了越来越多的研究者将目光投向多模态预训练。

gydtep

，构建了多种模态（例如视觉模态）下的实体，以及多种模态实体间的多模态语义关系。如图1所示，在电商领域，多模态商品知识图谱通常有图像、标题和结构知识。

gydtep

多模态商品知识图谱的应用场景十分广泛，多模态结构数据虽然在底层表征上是异构的，但是相同实体的不同模态数据在高层语义上是统一的，

gydtep

这将严重降低多模态信息学习的性能。在真实的电子商务场景中，有的卖家没有将商品图片(或标题)上传到平台，有的卖家提供的商品图片(或标题)没有正确的主题或语义

gydtep

（2）modal-interaction layer。当建模模式之间的相互作用时，有两个过程。第一个过程是文本模态和图像模态之间的交互：

gydtep

对比3个基线的“标题噪声”和“图像噪声”，随着TNR的增加，模型性能下降了15.1% ~ 43.9%，而随着INR的增加，模型性能下降了2.8% ~ 10.3%，

gydtep

因为他要根据桌号来进行上菜以及收账。
再来举一个例子，在我们设计用户信息的时候，这其中就会包括用户的地址，

gydtep

因此出现了聚合根的概念。聚合根实际是就是一种实体，具备唯一标识，有独立的生命周期。但是他是特殊的实体，

gydtep

当把参与者集合在一起之后，大家需要通过头脑风暴的方式梳理当前的业务域问题。比如某个业务动作或者行为是否会触发下一个业务动作，

gydtep

我们以大家最熟悉的电商系统来举个栗子，在电商业务中有一个重要的环节就是物流。因此物流是电商业务的重要业务子域。