gydtep

关于这些建模工具的概念和如何运用我就不多展开了，我博客里也有很多这方面的介绍。下面我再讲一下我认为比较重要的东西，比如到底该如何领域建模？步骤应该是怎么样的？

gydtep

最近分析型数据库在资本市场和技术社区都非常的火热，各种创业公司的创新型产品如雨后春笋般出现。这一方面是因为当前阶段企业日益依赖从数据中寻找增长潜力带来需求的增长，另一方面云原生技术的发展带来现有技术体系的进化和变革，诸如Snowflakes这类产品的成功证明，使用云原生技术再造分析型数据库技术体系是必要的且存在很大的市场机会。

gydtep

由于一份数据在多个副本之间上完全独立，因此在不同副本上使用不同格式进行存储，来服务不同的查询负载是一个易于实施的方案。典型的如TiDB，其从TiDB4.0开始，在一个Raft Group中的其中一个副本上，使用列式存储(TiFlash)来响应AP型负载, 并通过TiDB的智能路由功能来自动选取数据来源。这样实现了一套数据库系统同时服务OLTP型负载和OLAP型负载。

gydtep

支持行列混合执行的优化器框架，该优化器框架会根据下发的SQL是否能在列索引上执行覆盖查询，并且其所依赖的的函数及算子能被列式执行器所支持来决定是否启动列式执行。优化器会同时对行存执行计划和列存执行计划做代价估算，并选中代价交代的执行计划。

gydtep

如果IMCI无法执行此SQL，则PolarDB会尝试编译出一个Parallel Query的执行计划并执行。如果无法生成PQ的执行计划，则说明IMCI和PQ均无法支持此SQL，fallback回行存执行。

gydtep

面向列式存储的执行引擎
IMCI执行引擎是一套面向列存优化,并完全独立于现有MySQL行式执行器的一个实现，重写执行器的目的是为了消除现有行存执行引擎在执行分析型SQL时效率低两个关键瓶颈点：按行访问导致的虚函数访问开销以及无法并行执行。

gydtep

在数据编码格式上，实现为二级索引的列存可以和其他行存索引使用完全一样的内格式，直接内存拷贝即可，不需要考虑charset和collation等信息，这对上层执行器也是完全透明的。

gydtep

当一个RowGroup中的无效记录超过一定阈值，则会触发后台异步compaction操作，其作用一方面是回收空间，另一方面可以让有效数据存储更加紧凑，提升分析型查询单的效率。

gydtep

对于查询请求，会根据查询条件将Datapacks分为相关、不相关、可能相关三大类，从而减少实际的数据块访问。而对于一些聚合查询操作，如count/sum等，可以通过预先计算好的统计值进行简单的运算得出，这些数据块甚至都不需要进行解压。

gydtep

左图来自低质量相机，并且是前向拍摄；右图来自高质量相机，并且是侧向拍摄；因为相机拍摄质量以及拍摄视角不同，这就导致POI牌匾的亮度、形状、清晰度等都存在非常大的差异。而如何在差异较大的异源数据中实现POI牌匾检索，是一个非常具有挑战性的问题。