gydtep
发表于 2021-9-2 12:25:37
Faiss 两亿规模索引的构建时间需要 45小时,采用 HNSW 优化的情况下可缩短到 15小时,而相同资源下 Proxima 一个多小时便可构建完索引,并且索引的存储更小,精度更高(见检索对比)。
gydtep
发表于 2021-9-3 14:30:19
除了监视存储活动外,存储管理员还需要检查和分析存储系统要使用的应用的编码和错误。这有助于他们更好地了解如何围绕应用的需求设计存储体系结构。他们通过了解应用的输入/输出模式来做到这一点。用于执行此操作的最常见技术是捕获应用的跟踪。
gydtep
发表于 2021-9-4 09:35:06
在人工代码评审(Code Review,CR)中,对于纯文本形式的代码浏览不可避免地将耗费大量的时间,影响CR的效率。那么有没有更智能的方法?阿里云云效代码智能语法服务基于云端备份的快速代码导航服务,无须本地克隆即可在页面体验熟悉的定义引用快速查看跳转功能,可大幅提升代码评审的效率和质量。本文分享相关的技术原理与实现方法。
gydtep
发表于 2021-9-5 11:48:43
根据库大小的区别,LSIF的索引构建时间为10秒至数分钟不等,而用户对同一个代码仓库的提交操作峰值可能会达到每分钟近百次,即使我们采用了增量技术也很难满足高频的构建请求,并且提交事件触达和调度任务执行无法保证精准的时序性。综上所述,我们需要一个分布式时序锁来保证任务调度的顺序和尽量减少重复调度。
gydtep
发表于 2021-9-6 09:17:57
还有就是要去看论文。跟数据相关的,OLTP和OLAP都有非常好的论文。看了论文以后再看其他人对论文的理解。一定要去看一些比较好的东西,跟工作相关的都可以去看,每天去学习。
gydtep
发表于 2021-9-6 13:47:39
确认所有参与节点 Prepare 成功的情况下,我们向全局事务日志添加一条事务提交记录作为 COMMIT POINT。在 TM 发生异常的情况下,我们可以选择新的 TM 继续完成两阶段提交,新 TM 会根据主库中是否存在 COMMIT POINT 记录选择恢复事务状态或者回滚事务。
gydtep
发表于 2021-9-7 09:02:01
云原生的概念最早开始于 2010 年,在当时 Paul Fremantle 的一篇博客中被提及,他一直想用一个词表达一种架构,这种架构能描述应用程序和中间件在云环境中的良好运行状态。因此他抽象出了 Cloud Native 必须包含的属性,只有满足了这些属性才能保证良好的运行状态。当时提出云原生是为了能构建一种符合云计算特性的标准来指导云计算应用的编写。
gydtep
发表于 2021-9-7 12:35:09
可以看出,CNCF 在当前定义基础上加上了服务网格 (service mesh) 和声明式 API,这为云原生的概念阐述增加了更深一层的意义,也就是建立一个相对中立的开源云生态。这对云原生的生态定位是很重要的,也算 CNCF 最初成立的宗旨之一,打破云巨头的垄断。
gydtep
发表于 2021-9-7 17:18:43
可视化:当前环境要做到可控,就需要对当前的环境状况可视。
可追溯:所有的配置统一作为代码进行版本化管理,所有的操作都可以追溯。
快速:资源申请及释放要求秒级完成,以适应弹性伸缩和故障切换的要求。
gydtep
发表于 2021-9-8 10:00:18
基于 Guava 限流:Guava 是 Google 提供的 Java 扩展类库,其中的限流工具类 RateLimiter 采用的就是令牌桶算法,使用起来非常简单。
基于 Nginx 限流。