gydtep 发表于 2021-5-14 08:08:36
020年双11,云原生实时数仓首次在阿里巴巴双11核心数据场景落地,实现商业全链路实时化,毫秒级海量数据处理能力。搜索推荐业务数据开发效率提升4倍,菜鸟物流包裹数据链路从小时级优化到3分钟,考拉分钟及小时业务1分钟内完成,大数据的实时分析与决策在瞬息万变的市场竞争中成为了标品!gydtep 发表于 2021-5-14 12:15:51
MaxCompute交互式分析(Hologres)提出实时数仓“服务分析一体化”的概念,让一个大数据引擎既能满足 OLAP的实时洞察分析又能满足KV式的高QPS点查特征服务的需求,将实时分析和服务做到很好的融合,极大的简化了实时数仓架构的复杂度,助力客户实时的分析与决策。gydtep 发表于 2021-5-15 13:15:45
而更上层的就是智能化应用,大家也正在逐渐形成统一的认识,那就是未来的应用一定是向着智能化发展。从IaaS到智能化应用需要经历一定的环节,而在这个环节中,数据库将会起到非常关键的作用,包括数据的产生、存储、消费和分析,这些都是数据库要去解决的问题。因此,我们可以看到无论是国际巨头还是国内厂商都在数据库里面投入了大量的资源。gydtep 发表于 2021-5-17 13:36:25
对于应用开发和运维团队,实现了关注点分离(Separation of Concerns),可以将应用定义、运维能力与基础设施实现解构。让应用交付过程变得更加高效、可靠和自动化。gydtep 发表于 2021-5-18 16:16:28
计划内的短期或周期性业务:比如双十一大促,跨年活动等短期业务峰值,或者月底结算等周期性业务负载变化,我们可以利用虚拟机或者弹性容器实例来应对业务高峰。gydtep 发表于 2021-5-19 10:09:55
用数据进行学习的目标是预测响应变量或者用一组给定的属性对响应变量分类。这与线性回归有点类似,在线性回归中,用一组独立变量(也叫属性或特征)通过一个线性模型来预测因(响应)变量。不过,传统的线性回归模型并不被视为深度学习,因为它们没有对数据进行多层的非线性变换。gydtep 发表于 2021-5-20 09:43:43
非结构化检索本质是向量检索技术,其主要的应用领域如人脸识别、推荐系统、图片搜索、视频指纹、语音处理、自然语言处理、文件搜索等。随着 AI 技术的广泛应用,以及数据规模的不断增长,向量检索也逐渐成了 AI 技术链路中不可或缺的一环,更是对传统搜索技术的补充,并且具备多模态搜索的能力。gydtep 发表于 2021-5-20 15:12:02
虽然向量检索发展多年,并逐渐成为非结构化检索的主流方法,但仍存在了不少的技术挑战和问题。gydtep 发表于 2021-5-20 20:15:53
异构计算:Proxima 支持大批量高吞吐的离线检索加速,同时解决了 GPU 构建邻居图索引的难题,另一方面也成功解决了小批量+低延时+高吞吐的资源利用问题,并将其全面应用在淘宝的搜索推荐系统中。gydtep 发表于 2021-5-21 12:51:18
例如,如果一个过程被调用,它将被执行,然后返回,以便在堆栈中调用下一个过程。而且,在谈论IOPS时,基础输入/输出任务可以达到存储系统的堆栈限制。