预训练技术在计算机视觉(CV)领域如VGG、Google Inception和ResNet，以及自然语言处理(NLP)如BERT、XLNet和GPT-3的成功应用，启发了越来越多的研究者将目光投向多模态预训练。
随着人工智能技术的不断发展，知识图谱作为人工智能领域的知识支柱，以其强大的知识表示和推理能力受到学术界和产业界的广泛关注。
对应modal-encoding layer，(2)对模态之间的相互作用进行建模，对应modal-interaction layer，（3）通过各个模态的监督信息优化模型，对应modal-task layer。
淘宝主搜找相似服务，离线算法AUC提升1%，业务方反馈是很大的提升；目前在线AB测试中；
3、阿里妈妈年货节商品组合算法，在线算法，基于Emedding的实验桶（5.52%）CTR指标相较于另外2个实验桶（5.50%，5.48%）分别提高0.02%、0.04%的点击率，相对提高分别为0.363%、0.73%；
业务场景建模问题定义
针对业务场景模型，我们首先要思考我们面向的是什么系统，系统的规律是什么，该系统的哪些数据可以被规则化出来的，如何规则出来，最终如何表达，带着这些问题我们一步步介绍我们的解决方案。
Rollptr指向的是该记录的上一个版本的位置，包括space number，page number和page内的offset。沿着Rollptr可以找到一个Record的所有历史版本。
除了一些基本的元信息之外，trx_rseg_t中维护了四个trx_undo_t的链表，Update List中是正在被使用的用于写入Update类型Undo的Undo Segment；Update Cache List中是空闲空间比较多
会通过比较Record上的trx_id确定是否是可见的版本，如果不可见就沿着Record或Undo Record中记录的rollptr一路找更老的历史版本。如下图所示
Crash Recovery完成之前，会启动在srv_dict_recover_on_restart中启动异步回滚线程trx_recovery_rollback_thread，其中对Crash前还活跃的事务，通过trx_rollback_active进行回滚，这个过程跟上面提到的Undo for Rollback是一致的。
解析出其中记录的主键信息，如果是update类型，还会拿到一个update vector记录其相对于更新的一个版本的变化。
