gydtep

PolarDB MySQL是因云而生的一个数据库系统, 除了云上OLTP场景，大量客户也对PolarDB提出了实时数据分析的性能需求。对此PolarDB技术团队提出了In-Memory Column Index(IMCI）的技术方案，在复杂分析查询场景获得的数百倍的加速效果。

gydtep

对比上述三种方法，从组合搭积木的方法到Divergent Design方法再到一体化的行列混合存储，其集成度越来越高，用户的使用体验也越来越好。

gydtep

但这种抽象会同时带来性能上的损耗，因为在迭代器进行迭代的过程中，每一行数据的获取都会引发多层的函数调用，同时逐行地获取数据会带来过多的 I/O，对缓存也不友好。

gydtep

PolarDB 采用了和Oracle/Sql Server等商用数据库类似的行列混合存储技术，我们称之为In-Memory Column Index：

建表时可以指定部分表或者列为列存格式，

gydtep

行存数据和列存数据具有实时一致性，能满足很多苛刻的业务需求，所有数据写入即可见于分析型查询。

gydtep

每个RowGroup都采用追加写，分属每个列的DataPack也是采用追加写模式。对于一个列索引，只有个Active RowGroup负责接受新的写入。

gydtep

在开启IMCI功能之后，事务系统会创建一个列存更新缓存，在所有数据页被修改的同时，会记录所涉及到的列存的修改操作，在事务提交结束前，该更新缓存会应用到列存系统。

gydtep

MySQL是一款主要面向OLTP型场景设计的开源数据库，开源社区的研发方向侧重于加强其事务处理的能力，如提升单核性能/多核扩展性/增强集群能力以提升可用性等。

gydtep

PolarDB团队开发的并行查询框架（Parallel Query), 可以在当查询数据量到达一定阈值时，自动启动并行执行，在存储层将数据分片到不同的线程上，多个线程并行计算，将结果流水线汇总到总线程，最后总线程做些简单归并返回给用户，提高查询效率。

gydtep

我们借鉴了传统特征点匹配算法思想，利用Sift特征点匹配算法对两趟资料中的所有牌匾进行两两匹配，并通过内点数量对匹配结果进行筛选，即内点数量大于阈值的匹配牌匾视作同一牌匾。