gydtep
发表于 2021-12-23 10:49:47
列存RowGroup中每新写入一行都会分配一个RowID用作定位，属于一行的所有列都可以用该RowID计算定位，同时系统维护PK到RowID的映射索引，以支持后续的删除和修改操作。
gydtep
发表于 2021-12-23 14:29:42
对于全表行转列的情形，我们使用并行扫描的方式对InnoDB的Primary Key进行扫描，并依次将所有涉及到的列转换为列存形式，这一操作的速度非常快，其基本只受限于服务器可用的IO吞吐速度和可用CPU资源。该操作是一个online-DDL过程，不会阻塞在线业务的运行。
gydtep
发表于 2021-12-23 15:24:36
借助PolarDB一写多读的架构，我们可以非常方便对AP型负载和TP型负载进行隔离。在PolarDB的技术架构下，我们有如下几个部署方式：
gydtep
发表于 2021-12-23 16:46:47
除了上述部署架构上不同可以支持的资源局隔离之外。在PolarDB内部对于一些需要使用并行执行的大查询支持动态并行度调整(Auto DOP)，这个机制会综合考虑当前系统的负载以及可用的CPU和内存资源，对单个查询所用的资源进行限制，以避免单个查询消耗的资源太多，影响其他请求的处理。
gydtep
发表于 2021-12-23 18:19:04
自动化的索引推荐系统，目前列存的创建和删除需要用户手动指定，这增加了DBA的工作量，目前我们正在研究引入自动化推荐技术，根据用户的SQL请求特征，自动创建列存索引，降低维护负担。
gydtep
发表于 2021-12-23 20:26:59
图像检索问题定义：给定查询图像（Query），通过分析视觉内容，在大型图像库中（Gallery）中搜索出相似的图像。该方向一直是计算机视觉领域的一个长期研究课题，在行人重识别、人脸识别、视觉定位等任务中均有广泛的研究。
gydtep
发表于 2021-12-24 09:40:05
不过，由于遮挡原因也会导致文本特征不同，因此需要结合图像特征进行权衡。而且，文本特征和图像特征来自多个模态，如何将多模信息进行融合也是该业务特有的技术难点。
gydtep
发表于 2021-12-24 10:37:23
在我们的业务场景中，存在一些外观相似而细节有一定差异的牌匾，如图8 (c) 所示，在这种情况下，我们希望模型可以关注到牌匾中的细粒度信息，比如牌匾中文字的字体、文字排版或者是文字内容本身。
gydtep
发表于 2021-12-24 13:26:13
针对局部特征的提取，我们主要的思路是将牌匾垂直切分成几个部分，分别关注每个部分的局部特征，并对局部特征进行对齐后优化。
gydtep
发表于 2021-12-24 16:43:27
图像检索是在高德地图数据自动化生产中的一次尝试，取得了不错的效果，并且已在实际业务中使用。但是模型并不是完美的，仍会存在Corner case，为了解决这些case，我们未来将会从半监督学习/主动学习自动补充数据，以及引入Transformer优化特征提取和融合两方面进行探讨。
页:
1
2
3
4
5
[6]
7
8
9
10
11
12
13
14
15
