gydtep
发表于 2022-1-26 21:02:14
IMCI执行器引擎使用经典的火山模型,但是借助了列存存储以及向量执行来提升执行性能。
火山模型里,SQL生成的语法树所对应的关系代数中,每一种操作会抽象为一个 Operator,执行引擎会将整个 SQL 构建成一个 Operator 树,查询树自顶向下的调用Next()接口,数据则自底向上的被拉取处理。
gydtep
发表于 2022-1-27 15:11:18
如上图所示,在PolarDB中所有Primary Index和Seconary Index都实现为一个B+Tree。而列索引在定义上是一个Index,但其实是一个虚拟的索引,用于捕获对该索引覆盖列的增删改操作。
gydtep
发表于 2022-1-28 12:40:19
除了上述部署架构上不同可以支持的资源局隔离之外。在PolarDB内部对于一些需要使用并行执行的大查询支持动态并行度调整(Auto DOP),这个机制会综合考虑当前系统的负载以及可用的CPU和内存资源,对单个查询所用的资源进行限制,以避免单个查询消耗的资源太多,影响其他请求的处理。
gydtep
发表于 2022-1-28 13:28:54
POI 是 Point of Interest 的缩写。在电子地图上,POI 代表餐厅、超市、政府机关、旅游景点、交通设施等等 。POI是电子地图的核心数据。对普通用户而言,POI 数据包含的名称和位置信息,能够满足其使用电子地图“查找目的地”,进而唤起导航服务的基本需求;
gydtep
发表于 2022-1-28 14:29:00
如果对全部POI进行处理的话,则会带来高昂的作业成本,因此需要对其中没有变化的POI进行自动化过滤,其中关键技术能力就是图像匹配,该场景是一个较为典型的图像检索任务。
gydtep
发表于 2022-1-29 11:31:49
图像检索是在高德地图数据自动化生产中的一次尝试,取得了不错的效果,并且已在实际业务中使用。但是模型并不是完美的,仍会存在Corner case,为了解决这些case,我们未来将会从半监督学习/主动学习自动补充数据,以及引入Transformer优化特征提取和融合两方面进行探讨。
gydtep
发表于 2022-1-29 15:48:59
AIoT时代,RISC-V架构因其开放、灵活的特性,有望成为继Intel X86、ARM后的下一代广泛应用的CPU架构。但是,当前RISC-V架构面临应用碎片化、开发效率低、软硬件适配难等问题,软硬件生态尚未成熟。
gydtep
发表于 2022-1-29 19:10:48
不久前,玄铁910全球首次实现兼容安卓,极大拓展了RISC-V架构面向开放生态的想象力。
目前,玄铁系列处理器出货超25亿颗,拥有150余家客户、超500个授权数,已成为国内应用规模最大的国产CPU。
gydtep
发表于 2022-1-30 20:13:18
本篇文章从流计算的本质出发,重点分析流计算领域中数据处理的一致性问题,同时对一致性问题进行简单的形式化定义,提供一个一窥当下流计算引擎发展脉络的视角,让大家对流计算引擎的认识更为深入,为可能的流计算技术选型提供一些参考。
gydtep
发表于 2022-1-31 10:56:54
例子2,后接不同的名词:Exactly-once State Consistency 和 Exactly-once Process Consistency。前者是 Flink 在官网中对其一致性的叙述,后者是 Kafka Streaming 的一致性保证,前者的语义约束弱于后者。Exactly-once State Consistency 只是表达了: