gydtep
发表于 2021-3-13 14:36:16
非结构化检索本质是向量检索技术，其主要的应用领域如人脸识别、推荐系统、图片搜索、视频指纹、语音处理、自然语言处理、文件搜索等。随着 AI 技术的广泛应用，以及数据规模的不断增长，向量检索也逐渐成了 AI 技术链路中不可或缺的一环，更是对传统搜索技术的补充，并且具备多模态搜索的能力。
gydtep
发表于 2021-3-14 14:13:36
除了监视存储活动外，存储管理员还需要检查和分析存储系统要使用的应用的编码和错误。这有助于他们更好地了解如何围绕应用的需求设计存储体系结构。他们通过了解应用的输入/输出模式来做到这一点。用于执行此操作的最常见技术是捕获应用的跟踪。
gydtep
发表于 2021-3-15 09:53:49
如果用户采用 Serverless 的模式构建应用，也就是相当于在上层API的方式构建应用，粘合的逻辑和基础设施管理的工作都由云服务商来承担，用户所需要整合和决策的代价比较低，所需要考虑的主要就是如何将业务逻辑和需求与云服务进行适配来构建应用。基于非常高效的云API来构建应用的好处在于构建的成本很低，并且能够实现按天、按小时进行交付，并且大大降低未来运维的负担。
gydtep
发表于 2021-3-15 14:19:11
在人工代码评审（Code Review，CR）中，对于纯文本形式的代码浏览不可避免地将耗费大量的时间，影响CR的效率。那么有没有更智能的方法？阿里云云效代码智能语法服务基于云端备份的快速代码导航服务，无须本地克隆即可在页面体验熟悉的定义引用快速查看跳转功能，可大幅提升代码评审的效率和质量。本文分享相关的技术原理与实现方法。
gydtep
发表于 2021-3-15 17:54:18
我们将这种结构化的数据上传到ES，然后语法服务后端服务器会基于用户的语法请求，构造ES请求Query，查询定义、引用或注释信息，将其拼装返回。
gydtep
发表于 2021-3-15 18:00:57
对于分支，我们会持续更新和保留最新版本的索引数据；对于代码评审，我们会构建源分支的每次Push版本和源目标分支的merge-base版本的索引。
gydtep
发表于 2021-3-16 12:09:28
对局部和全局的问题需要有发现的眼光，更应该有发现未发生问题的能力，哪些是需要治标，哪些需要治本，这个是发现问题的基本判断力。现在系统可能没什么大问题，但你要有发现的眼光，这些问题如果不解决，未来业务可能遇到更严重的问题。架构师看问题的眼光和别人不一样，不要只看见这一个问题，还要看见这个问题背后是什么，这一类问题背后是什么，我怎么能用抽象的方法解决一类问题。想好了以后，我就把当前的这个问题先解决掉，其他的问题用抽象的方式去解决它。
gydtep
发表于 2021-3-16 14:56:16
每时每刻都在发生技术的升级和变革，只有持续不断的学习，才能对老的架构有新的认识，对于老的问题产生新的解法，要了解业界最近在发生什么变化，这个领域最关键的项目和人在做什么，学习他们的技术，学习他们的论文。我以前每天大概2到3个小时是用来学习。这几个小时的学习时间是我最放松的时间，不用去想太多事。
gydtep
发表于 2021-3-16 17:43:34
造成 XA 事务无法提供快照读功能的核心原因是我们缺乏一个全局时钟来排序每个事务，每个事务和视图在不同的 DN 上可能是不同的顺序。因此在 PolarDB-X 2.0 中，我们引入了基于 XA 事务优化的 TSO 事务。TSO 事务需要一个生成全局单调递增 Timestamp 的策略，常见的策略有 True Time（Google Spanner）、HLC（CockroachDB）、TSO（TiDB），在我们目前的实现中，我们使用了 TSO 策略，由 GMS（元数据管理服务）作为一个高可用的单点服务承担生成 Timestamp 的任务。TSO 保证了正确的线性一致性和良好的性能，只是在跨全球机房部署的场景会带来较高的延迟。
gydtep
发表于 2021-3-16 17:55:03
原生的 InnoDB 引擎无法满足我们支持 TSO 事务的需求，因此我们修改了 InnoDB 引擎的提交逻辑和可见性判断逻辑，在 XA BEGIN 和 XA COMMIT 前插入了我们自定义的两个变量 SNAPSHOT_TS 和 COMMIT_TS。
