gydtep
发表于 2021-9-26 10:01:32
另外一面,大数据产品开始将SQL能力全部融合进来,甚至将事务ACID等特性集成进去,这使得大数据技术和数据库技术两个领域快速融合,因此未来所需要考虑的事情是如何朝着这个趋势演进,提供更多更优秀的产品。
gydtep
发表于 2021-9-26 15:49:40
DataWorks数据集成可以追溯到2011年的DataX1.0和2.0版本,随后3.0版本正式对外提供服务,再后来公有云、专有云、阿里内部功能三版合一,建立了Data Integration 服务。在2019年,DataWorks数据集成完成了商业化,独享资源组上线,按量付费、包年包月的付费方式也成功面向了用户。在2020年,全增量实时同步解决方案正式发布。
gydtep
发表于 2021-9-27 12:44:52
随着数字化转型的快速推进,数据量呈现爆发式的增长,而对数据计算的要求越来越高,低延时、低资源消耗、高效率、高精准度等。 如何从这些海量的历史数据和每日实时增量数据中快速汇总分析、挖掘出业务价值已成为业务最基本的需求。
gydtep
发表于 2021-9-27 19:11:31
菜鸟智能物流引擎原来采用Flink+HBase+OLAP的方案,该架构数据导入时间长、资源浪费、数据孤岛等问题严重严重困扰了业务同学,采用Hologres后,整个链路2亿记录数据处理速度端到端优化到3分钟,开发效率大幅提升,整体硬件成本下降60%。
gydtep
发表于 2021-9-27 20:04:53
阿里巴巴客户体验事业部(CCO)之前使用的DataHub+Flink+OLAP+Lindorm数仓方案,存在任务重复建设、数据存储冗余、元数据管理、加工链路复杂等痛点。而今年双11,Hologres助力CCO构建集实时化、自助化、系统化于一体的用户体验实时数仓,完美助力双11场景,支持上千+服务大屏,削峰30%,整体节约成本近30%。Flink实时写入TPS峰值100w+/s,写入延迟稳定500us内,双11当天查询latency平均142ms,99.99%的查询在200ms以内。
gydtep
发表于 2021-9-28 12:49:09
3)需要同时处理流式数据和批数据,技术架构复杂,维护难,BUG多
4)对数据有增删改需求,大数据下难以提供事务性保障
gydtep
发表于 2021-9-28 18:45:38
消息来源。一些培训正在边缘进行,并且越来越多地关注联合学习的概念,该概念将处理集中在数据区域,同时集中结果以消除区域偏见。
gydtep
发表于 2021-9-28 19:10:44
更好的网络基础架构和新的边缘计算架构的兴起,正在打破集中式云AI与分布式边缘AI工作负载之间的障碍。
其优势是基础架构的巨大新兴变化,它通过增加分布在世界每个角落的信息技术层来补充云。我们相信边缘AI会引发一场革命,就像云技术获得牵引力一样大。
gydtep
发表于 2021-9-28 19:54:59
如果设计得当,Edge AI将为自动缩放带来新的机会,因为每个新用户都会为集体工作负载带来全新的机器。边缘还可以更好地访问更多未处理的原始输入数据,而云AI解决方案必须与预处理的数据一起使用以提高性能或庞大的数据集,这时带宽可能会成为一个严重问题。
gydtep
发表于 2021-9-29 07:32:27
将事物移到边缘的原因是为了获得更好的响应时间。速度和延迟对于诸如计算机视觉和用于5G的虚拟无线电接入网络等应用至关重要。另一个重大好处在于,通过限制将哪些数据上传到云来改善隐私。