gydtep

深度学习需要专业的数据科学人才,而这些人才仍供不应求。目前只有屈指可数的少数公司能从深度学习中获益,其他企业正在迎头赶上。

gydtep

要学习一个新的东西,最难的事情就是找到容易理解和部署的例子。找到课题相关的大量技术论文非常容易,但找到入门学习并快速搭建的具体的例子是很难的。本书就是为了解决这个问题。书中有直观的插图、实用的例子以及对模型的简单解释,这些可以用Python直接搭建和测试。这样就很容易上手,通过数据和Python进行试验。

gydtep

如下图左边的例子，我们想在标准地址库中搜索“浙一医院”（而标准地址库中恰恰又没有“浙一”这个关键词，“浙一医院”的标准地址是“浙江大学医学院附属第一医院”），如果我们只使用文本分词（“浙一”和“医院”），在标准地址库中是不会找到相关结果的（因为“浙一”这个地址不存在）。

gydtep

另外，维数的增加也造成了一些向量检索方法的效率下降，在高维空间下华而不实，同时工程上也增加了数据计算和存储成本。其次，算法上缺乏完全通用性，无法对数据实现泛一致性检索，即任何数据分布上，检索算法都是有效的。

gydtep

目前，业内在处理高维十亿级别的数据时仍显得力不从心，多采用多片索引分别检索合并的方法，增加了实际计算成本。

gydtep

高性能和低成本：有限成本下实现最大化性能并满足业务的需求是向量检索需要解决的主要问题。Proxima 实现了对多种平台和硬件的优化，支持云服务器和部分嵌入式设备，通过与分布式调度引擎的结合实现离线数据检索和训练，通过扁平化索引和磁盘检索的方案实现了对冷数据的快速检索。

gydtep

场景适配：结合超参调优和复合索引等方法，通过对数据采样和预实验，Proxima 可以解决一些数据场景智能适配的问题，从而提高系统的自动化能力，以及增强用户的易用性。

gydtep

可以简单地说，每天生成越来越多的数据，这正增加了存储工作负载的规模和复杂性。但是，人工智能可以拯救存储管理员，帮助他们高效地存储和管理数据。通过使用AI数据存储，供应商和企业可以将存储管理提升到一个新的水平。而且，存储管理员可以找到他们目前正在努力管理的指标的解决方案。

gydtep

存储管理员需要努力的主要指标

存储管理员在管理存储问题时面临一些挑战。而且，如果他们克服了这些挑战，将帮助他们在数据存储的各个方面之间找到适当的平衡，例如在哪里分配工作负载，如何分配工作负载以及如何优化堆栈等等。

gydtep

里内部之前很多故障也都是因为开发和运维之间在设计上面存在信息不一致导致的，比如在开发设计时会做三副本的高可靠保证，但是在运维侧则可能会认为副本所在的机器没有提供服务因此被错误下线掉。