gydtep
发表于 2021-4-14 12:26:54
分形曲线和局部敏感哈希属于空间编码和转换的思想,类似思想的算法还有 Product Quantization (PQ) 等,这些量化算法将高维问题映射到低维进行求解,从而提高检索效率。21 世纪初,采用邻居图解决 ANN 问题的思想也开始萌芽,邻居图主要基于“邻居的邻居可能也是邻居”的假设,预先建立数据集中所有点的邻居关系,形成具有一定特性的邻居图,检索时在图上进行游走遍历,最后收敛得到结果。
gydtep
发表于 2021-4-14 17:32:25
考虑到测试的可行性,达摩院团队在同样是 2 亿规模的数据量下,针对索引构建和检索对比了 Faiss 和 Proxima,另外,同样 2000 万规模的数据量下,对比了 Faiss 和 Proxima 单卡的异构计算能力,对于十亿规模的数据量 Proxima 则单独给出测试数据,具体结果如下。
gydtep
发表于 2021-4-15 12:38:32
阿里内部之前很多故障也都是因为开发和运维之间在设计上面存在信息不一致导致的,比如在开发设计时会做三副本的高可靠保证,但是在运维侧则可能会认为副本所在的机器没有提供服务因此被错误下线掉。
gydtep
发表于 2021-4-15 18:19:31
但CR场景或者轻量级的代码浏览场景,这种方式就显得时效性比较低了,几分钟后或许用户已经完成了代码浏览,而且缺少持久化的存储会导致资源过度消耗。于是,LSIF就在这样的背景下应运而生,秉承用空间换时间的思想,提前计算好语法分析结果以特定的索引格式存储在云上,从而快速响应不同用户的多次请求。
gydtep
发表于 2021-4-16 14:10:22
接触更多的人和事,用新方法解决新问题。这个很关键。不能只看代码看一个月,要找真实的业务方,你的上游,你的下游,你的合作伙伴。比如说做双11,我是2016年12月份到业务平台,我花了整整三个月,跟每年双11的大队长、重要人去聊双11。他们是怎么理解,怎么来思考的,他们认为什么地方有问题。我再找他们要一些建议:我应该怎么去做。跟他们聊的过程中才知道我们需要做什么样大促,要把握什么是关键点,这都是一些宝贵的财富。
gydtep
发表于 2021-4-17 17:07:00
概念随着新的技术发展而演化
第一阶段:容器化封装+自动化管理+面向微服务
第二阶段:DevOps、持续交付、微服务、容器
第三阶段:DevOps、持续交付、容器、服务网格、微服务、声明式API
gydtep
发表于 2021-4-18 07:54:00
团队规模导致的问题
缺乏信任。由于人数众多,难于管理,只能通过制度、流程、规范、绩效约束。
没有责任感。高层管理者忙着开各种决策会议。
部门墙。跨部门协调还不如与第三方合作。
不尊重专业人士。当所有的生杀大权都掌握在少数人手中的时候。
管理层级太深。管理层级太深导致的问题很多。
gydtep
发表于 2021-4-19 16:16:21
Perkins表示,当使用智能工具和功能解决特定于行业的问题时,人工智能将提供巨大的价值。医疗、银行、保险、零售和制造业的组织中正在出现创造性的应用程序。Perkins说:“这在很大程度上是因为组织希望更好地将数据资产实现货币化,并利用新的数据流来发掘见解。”
gydtep
发表于 2021-4-20 10:54:33
为了解决这两个难题,开发者们尝试了各种各样的方案,新的理念以及技术框架在过去的这五年层出不穷。在一轮轮的优胜劣汰下,以 Docker 为代表的容器技术,在 Kubernetes 生态的支撑下,在业界成为了主流,是构建云原生(Cloud Native)应用的必备要素。容器化相关技术能够更大程序的挖掘云计算的价值,在一定程度上帮助开发者解决这两个难题。
gydtep
发表于 2021-4-20 15:45:14
另外一种是 Serverless 化的容器技术,Serverless 化的容器实例运行在案例隔离的环境中,每个计算节点通过轻量级虚拟化安全沙箱技术完全强隔离。对于使用者而言,无需购买服务器资源即可直接部署容器应用,也无需对集群进行节点维护和容量规划,可以根据应用配置的 CPU 和内存资源量进行按需付费。