gydtep
发表于 2022-12-16 16:18:44
目前,对于非训练的检索方法,能较方便的支持全内存索引的在线动态新增和查询,然而面对即时落盘、内存不足、在线向量动态更新和删除等要求,操作成本很大,满足不了实时性。
gydtep
发表于 2022-12-17 17:52:48
目前,业内普遍使用的向量检索库是 Facebook AI 团队开源的 Faiss (Facebook AI Similarity Search) 引擎。
gydtep
发表于 2022-12-17 19:48:55
例如,针对公开的十亿规模的 ANN_SIFT1B 数据集(来源 corpus-texmex.irisa.fr),在 Intel(R) Xeon(R) Platinum 8163 CPU & 512GB 内存的服务器上,由于 Faiss 要求的计算资源过于庞大,
gydtep
发表于 2022-12-18 09:14:20
Proxima 支持流式索引和半内存构建检索模式,真正做到了有限资源下,单机十亿规模级别的索引构建,以及高性能高精度检索。Proxima 这种高性能低成本能力为 AI 大规模离线训练和在线检索提供了强有力的基础支持。
gydtep
发表于 2023-1-10 10:18:59
第四定律:The structures of large systems tend to disintegrate during development,qualitatively more so than with small systems,即大的系统组织总是比小系统更倾向于分解。
gydtep
发表于 2023-1-11 13:56:31
脑裂问题
一种是采用投票机制(Paxos 算法)。
一种是采用租约机制——Lease,租约机制的核心就是在一定时间内将权力下放。
gydtep
发表于 2023-1-11 19:52:49
让开发者可以更轻松的构建微服务应用。像 Spring Cloud 和 Dubbo 这样的技术框架,经过多年的发展,已经演化为微服务领域的通用标准
gydtep
发表于 2023-1-12 12:50:11
在这个流程中,还没有涉及到对于流量精细粒度控制的高级灰度方案,但已经足够体现出其复杂性和操作难度了。
gydtep
发表于 2023-1-13 13:21:38
有着非常陡的学习曲线。而且 Kubernetes 生态中各种组件的搭建,再加上网络层与存储层的适配,都涉及非常复杂的工作。
gydtep
发表于 2023-1-14 18:36:26
在大型分布式 IT 架构领域,微服务是一项必不可少的技术。从本质上来讲,微服务是一种架构风格,将一个大型的系统拆分为多个拥有独立生命周期的应用,应用之间采用轻量级的通信机制进行通信。