[国内信息] 阿里云服务器2核2G低至49.68元/年 [复制链接]
查看:276639 | 回复:423

gydtep · 发表于 2022-12-14 20:37:09

传统的检索引擎只是对这些多媒体的名称和描述进行了索引，而并没有尝试对这些非结构数据的内容进行理解和建立索引，因此传统引擎的检索结果具有非常大的局限性。

gydtep · 发表于 2022-12-15 09:46:33

但是我们如果能够利用对人们历史语言，甚至之前的点击关联进行分析，建立起语义相关性的模型，

gydtep · 发表于 2022-12-15 18:19:37

21 世纪初，采用邻居图解决 ANN 问题的思想也开始萌芽，邻居图主要基于“邻居的邻居可能也是邻居”的假设，

gydtep · 发表于 2022-12-15 20:21:10

空间划分法以 KD-Tree、聚类检索为代表，检索时快速定位到这些小集合，从而减少需要扫描的数据点的量，提高检索效率。空间编码和转换法，如 p-Stable LSH、PQ 等方法

gydtep · 发表于 2022-12-16 09:16:44

21 世纪初，采用邻居图解决 ANN 问题的思想也开始萌芽，邻居图主要基于“邻居的邻居可能也是邻居”的假设，

gydtep · 发表于 2022-12-16 16:18:21

传统的检索方法能很方便的实现增查改删（CRUD）的操作，向量检索依赖数据分布和距离度量，部分方法还有数据集训练的要求，数据点的变更甚至动一发而牵全身。

gydtep · 发表于 2022-12-17 09:53:18

想让用户变得更简单，必然需要考虑场景适配的问题，主要包括数据适配（如：数据规模、数据分布、数据维度等）和需求适配（如：召回率、吞吐、时延、流式、实时性等）两方面。

gydtep · 发表于 2022-12-17 18:41:33

aiss 非常优秀，也是不少服务化引擎的基础核心，但 Faiss 在大规模通用检索场景方面仍存在一些局限性，

gydtep · 发表于 2022-12-18 07:54:03

Proxima 在小批量场景表现出了惊人的优势，小批量、低延时、高吞吐，并能充分利用 GPU 资源。目前，该检索方案也大规模应用在阿里的搜索推荐业务上。

gydtep · 发表于 2022-12-18 12:56:54

未来，向量检索除了要面对数据规模的不断增长，算法上仍需要解决混合空间检索、稀疏空间检索、超高维、泛一致性等问题。工程上，面对的场景将越来越广泛，也越来越复杂，如何形成强有力的系统化体系，贯穿场景和应用，将是向量检索下一步发展的重点。