gydtep

很难想出一个不能从深度学习受益的商业活动。思考5分钟,把你一些最好的想法列下来。

这是我想到的领域列表:

gydtep

“简单来说,深度学习建立在20世纪90年代神经网络发展的基础上,机器使用人造神经元矩阵扫描信息,寻找模式并做出决策,很像人脑的运作模式,但速度超快。”

gydtep

向量检索的第一大类应用就是对语音、图像、视频这些人类所接触到的，也最为常见的非结构化数据的检索。传统的检索引擎只是对这些多媒体的名称和描述进行了索引，而并没有尝试对这些非结构数据的内容进行理解和建立索引，因此传统引擎的检索结果具有非常大的局限性。

gydtep

例如，针对公开的十亿规模的 ANN_SIFT1B 数据集（来源 corpus-texmex.irisa.fr），在 Intel(R) Xeon(R) Platinum 8163 CPU & 512GB 内存的服务器上，由于 Faiss 要求的计算资源过于庞大，无法实现单机十亿规模的索引的构建和检索。而 Proxima 在同样的环境和数据量下单机可以轻松完成十亿规模的索引的构建和检索。

gydtep

PolarDB MySQL是因云而生的一个数据库系统, 除了云上OLTP场景，大量客户也对PolarDB提出了实时数据分析的性能需求。对此PolarDB技术团队提出了In-Memory Column Index(IMCI）的技术方案，在复杂分析查询场景获得的数百倍的加速效果。

gydtep

典型的如TiDB，其从TiDB4.0开始，在一个Raft Group中的其中一个副本上，使用列式存储(TiFlash)来响应AP型负载, 并通过TiDB的智能路由功能来自动选取数据来源。这样实现了一套数据库系统同时服务OLTP型负载和OLAP型负载。

gydtep

并行查询的加入使得PolarDB突破了单核执行性能的限制，利用多核CPU的并行处理能力，在PolarDB上部分SQL查询耗时成指数级下降。

gydtep

Plan转换的目的是将MySQL的原生逻辑执行计划表示方式AST转换为IMCI的Logical Plan。在生成IMCI的Logical Plan之后，会经过一轮Optimize过程，生成Physical Plan。Plan转换的方法简单直接，只需要遍历这个执行计划树，

gydtep

但这种抽象会同时带来性能上的损耗，因为在迭代器进行迭代的过程中，每一行数据的获取都会引发多层的函数调用，同时逐行地获取数据会带来过多的 I/O，对缓存也不友好。MySQL采用树形迭代器模型，是受到存储引擎访问方法的限制，这导致其很难对复杂的逻辑计算进行优化。

gydtep

对于全表行转列的情形，我们使用并行扫描的方式对InnoDB的Primary Key进行扫描，并依次将所有涉及到的列转换为列存形式，这一操作的速度非常快，其基本只受限于服务器可用的IO吞吐速度和可用CPU资源。该操作是一个online-DDL过程，不会阻塞在线业务的运行。