gydtep

在云原生和DevOps研发模式的挑战下，一个系统从开发、测试、到上线的整个过程中，会产生大量的日志、指标、事件以及告警等数据，这也给企业质量平台建设带来了很大的挑战。

gydtep

在这里，我们将日志、指标、Trace等数据全部接入到一个统一的可观测性存储中。然后基于这个统一的存储，进行后续的查询分析、可视化、监控告警、AI 等上层能力，甚至还可以进行数据的加工和规整，一站式地完成异构数据到同构数据的转换过程。

gydtep

第二个非常大的变化是AI。这12年以深度学习为代表的技术，慢慢从理论变成非常实用的技术，进入商业的各个环节，提升商业每一个环节的效率、质量。

gydtep

我们也开始为未来沉浸式的购物体验做准备，去探索未来下一代的人机交互的能力。我们以直播场景为例，直播场景本来已经有一些沉浸式体验了，但是对于一个主播来说

gydtep

多模态知识图谱的应用场景十分广泛，它极大地帮助了现有自然语言处理和计算机视觉等领域的发展。多模态结构数据虽然在底层表征上是异构的，但是相同实体的不同模态数据在高层语义上是统一的，

gydtep

预训练技术在计算机视觉(CV)领域如VGG、Google Inception和ResNet，以及自然语言处理(NLP)如BERT、XLNet和GPT-3的成功应用，启发了越来越多的研究者将目光投向多模态预训练。

gydtep

图3显示了各种模型对商品分类的结果，可以观察到: (1)当模态缺失或模态噪声存在时，基线模型严重缺乏鲁棒性。当TMR增加到20%、50%、80%和100%时，

gydtep

行人重识别任务也存在异源数据问题，但是该任务的异源更多是不同相机拍摄以及不同场景的区别。而在POI牌匾检索场景中，存在更严重的异源数据问题，如下图所示：

gydtep

为训练检索模型，通常需要进行实例级标注，即按照POI牌匾粒度进行标注。而在不同资料中筛选同一POI牌匾是一件非常复杂的工作，如果进行人工标注的话

gydtep

模型驱动自动化解决策略
结合上文的背景及思考，推演出本文的模型驱动自动化解决策略包含：特征提取、场景建模、链路执行、结果验证、覆盖率分析、缺陷定位及报告。