gydtep

Why We Need Column-Store
并行执行框架突破了CPU扩展能力的限制，带来了显著的性能提升。然而受限于行式存储及行式执行器的效率限制，单核执行性能存在天花板，其峰值性能依然与专用的OLAP系统存在差距。要更进一步的提升PolarDB MySQL的分析性能，我们需要引入列式存储：

gydtep

将 mysql 优化后的 AST 转换成IMCI 以 relation operator 位节点的树状结构即可，是一个比较直接的翻译过程。不过在这个过程中，也会做一部分额外的事情，如进行类型的隐式转换，以兼容MySQL灵活的类型系统。

gydtep

充分利用列式存储的优势，使用分批处理的模型代替迭代器模型，我们使用SIMD指令重写了大部分常用数据类型的表达式内核实现，例如所有数字类型(int, decimal, double)的基本数学运算(+, -, *, /, abs)，全部都有对应的SIMD指令实现。在AVX512指令集的加持下, 单核运算性能获得会数倍的提升。

gydtep

PolarDB 采用了和Oracle/Sql Server等商用数据库类似的行列混合存储技术，我们称之为In-Memory Column Index：

建表时可以指定部分表或者列为列存格式，或者对已有的表可以使用Alter table语句为其增加列存属性，分析型查询会自动使用列存格式来进行查询加速。

gydtep

列存数据默认压缩格式存储在磁盘上，并可以使用In-Memory Columbia Store Area来做缓存加速并加速查询，传统的行格式依然保存在BufferPool中供OLTP性负载使用。
所有事务的增删改操作都会实时反应到列存存储上，保证事务级别的数据一致性。

gydtep

列存实现为二级索引的另一个好处是执行器的工程实现非常简单，在MySQL中已经存在覆盖索引的概念，即一个查询所需要的列都在一个二级索引中存储，则可以直接利用这个二级索引中的数据满足查询需求，使用二级索引相对于使用Primary Index可以极大减少读取的数据量进而提升查询性能。当一个查询所需要的列都被列索引覆盖时，借助列存的加速作用，可以数十倍甚至数百倍的提升查询性能。

gydtep

在一个表上建立列索引之后，所有的更新事务将会同步更新行存和列存数据，以保证二者的事务一致性。下图演示了在IMCI功能关闭和开启之间的差异性。在未开启IMCI功能时，事务对所有行的更新都会先加锁

gydtep

在此实现下，列存存储提供了与行存一样的事务隔离级别。对于每个写操作, RowGroup中的每一行都会记录修改该行的事务编号，而对于每个标记删除操作也会记录该设置动作的事务编号。借助写入事务号和删除事务号，AP型查询可以用非常轻量级的方式获得一个全局一致性的快照。

gydtep

但是由于使用的相同的共享存储，因此在IO上会相互产生一定影响，对于这个问题我们在未来会支持将列存数据写入到外部存储如OSS等，实现IO的资源隔离，同时提升AP型RO上的IO吞吐速率。

gydtep

除了上述部署架构上不同可以支持的资源局隔离之外。在PolarDB内部对于一些需要使用并行执行的大查询支持动态并行度调整(Auto DOP)，这个机制会综合考虑当前系统的负载以及可用的CPU和内存资源，对单个查询所用的资源进行限制，以避免单个查询消耗的资源太多，影响其他请求的处理。