gydtep

【腾讯云】云数据库MySQL基础版1元体验，为中小企业量身打造，单节点架构，保证数据可靠性
https://cloud.tencent.com/act/cp ... 2e&from=console

gydtep

数据关联与统一分析：数据价值的发掘不是简单的通过一种数据来实现，更多的时候我们需要利用多种数据关联来达到目的，例如结合用户的信息表以及访问日志，我们可以分析不同年龄段、性别的用户的行为特点，针对性的进行推荐；通过登录日志、CMDB等，结合规则引擎，来实现安全类的攻击检测。

gydtep

业界也针对这种情况推出了各类可观察性相关的产品，包括开源、商业化的众多项目。例如：

Metrics：Zabbix、Nagios、Prometheus、InfluxDB、OpenFalcon、OpenCensus

gydtep

可观测数据引擎的整体架构如下图所示，从底到上的四层也基本符合方案落地的指导思想：传感器+数据+算力+算法：

传感器：数据源以OpenTelemetry为核心，并且支持各类数据形态、设备/端、数据格式的采集，覆盖面足够的“广”。

gydtep

Metrics：

通常都是range查询，每次查询某一个单一的指标/时间线，或者一组时间线进行聚合，例如统一某个应用所有机器的平均CPU

gydtep

建立起Catalog/CMDB，包括每个资源/实例所属的业务部门、团队、用途等
利用Catalog + 产品计费信息，就可以计算出每个部门的IT支出费用；再结合每个实例的用量、利用率信息

gydtep

由于一份数据在多个副本之间上完全独立，因此在不同副本上使用不同格式进行存储，来服务不同的查询负载是一个易于实施的方案。

gydtep

充分利用列式存储的优势，使用分批处理的模型代替迭代器模型，我们使用SIMD指令重写了大部分常用数据类型的表达式内核实现，例如所有数字类型(int, decimal, double)的基本数学运算(+, -, *, /, abs)，全部都有对应的SIMD指令实现。在AVX512指令集的加持下, 单核运算性能获得会数倍的提升。

gydtep

如上图所示，在PolarDB中所有Primary Index和Seconary Index都实现为一个B+Tree。而列索引在定义上是一个Index，但其实是一个虚拟的索引，用于捕获对该索引覆盖列的增删改操作。

gydtep

在此实现下，列存存储提供了与行存一样的事务隔离级别。对于每个写操作, RowGroup中的每一行都会记录修改该行的事务编号，而对于每个标记删除操作也会记录该设置动作的事务编号。借助写入事务号和删除事务号，AP型查询可以用非常轻量级的方式获得一个全局一致性的快照。