gydtep

过程中最让我们感动的是在体验上收获了用户的口碑，一位不知名的同学在小蛮驴上面贴了一张纸条，留下了这样一句非常温暖的话，“花不一定是为了花店而开，但是我为你而来”，这让我们非常感动。“好科技”可以是非常温暖的。

gydtep

有些我前面讲到了，比如平头哥的含光800芯片、云原生的大规模使用，此外在基础层，阿里自研的磐久服务器里面是全栈式阿里技术，这些技术全新上阵，并且在线上经过了双11峰值的考验，非常稳定。

gydtep

而多模态知识图谱则在传统知识图谱的基础上，构建了多种模态（例如视觉模态）下的实体，以及多种模态实体间的多模态语义关系。当前典型的多模态知识图谱有DBpedia、Wikidata、IMGpedia和MMKG。

gydtep

多模态知识图谱的应用场景十分广泛，它极大地帮助了现有自然语言处理和计算机视觉等领域的发展。多模态结构数据虽然在底层表征上是异构的，

gydtep

但是相同实体的不同模态数据在高层语义上是统一的，所以多种模态数据的融合对于在语义层级构建多种模态下统一的语言表示模型提出数据支持。

gydtep

其次多模态知识图谱技术可以服务于各种下游领域，例如多模态实体链接技术可以融合多种模态下的相同实体，可应用于新闻阅读，同款商品识别等场景中

gydtep

多模态知识图谱与传统知识图谱的主要区别是，传统知识图谱主要集中研究文本和数据库的实体和关系，而多模态知识图谱则在传统知识图谱的基础上，构建了多种模态（例如视觉模态）下的实体

gydtep

构建了多种模态（例如视觉模态）下的实体，以及多种模态实体间的多模态语义关系。如图1所示，在电商领域，多模态商品知识图谱通常有图像、标题和结构知识。

gydtep

（1）modal-encoding layer。在对每个模态的单个信息进行编码时，针对图像模态、文本模态以及知识模态，我们采用基于Transformer的编码器提取图像、文本、三元组表面形式的初始特征。其中文本模态和知识模态的编码器参数共享。

gydtep

modal-interaction layer。当建模模式之间的相互作用时，有两个过程。第一个过程是文本模态和图像模态之间的交互：首先通过co-attention Transformer基于图像和文本模态的初始特征学习对应的交互特征