gydtep 发表于 2021-1-26 09:59:29
快手使用 Flink 从 2017 年开始,从 0 到 1 今年已是第四个年头,发展过程如上图所示。快手使用 Flink 主要场景包括实时 ETL 数据集成,实时报表,实时监控,实时特征处理(AI),目前每天的峰值可以达到 6 亿条记录 /s。gydtep 发表于 2021-1-26 14:28:56
再比如,一个成熟的金融智能化方案,单点的智能化最后必须嵌入到银行的系统中,与其他安防设备一起,如报警主机、门禁、IP对讲等,通过软件平台进行综合管理,才能真正实现智能化系统的价值。gydtep 发表于 2021-1-27 07:48:37
集中式云资源通常用于训练深度学习推理模型,因为开发精确模型需要大量数据和计算。生成的模型可以部署在中央云位置,也可以分发到边缘的设备。gydtep 发表于 2021-1-27 13:19:18
2020年双11,云原生实时数仓首次在阿里巴巴双11核心数据场景落地,实现商业全链路实时化,毫秒级海量数据处理能力。搜索推荐业务数据开发效率提升4倍,菜鸟物流包裹数据链路从小时级优化到3分钟,考拉分钟及小时业务1分钟内完成,大数据的实时分析与决策在瞬息万变的市场竞争中成为了标品!gydtep 发表于 2021-1-28 06:50:40
DataWorks数据集成可以通过实时库监控抽取从关系型数据库(MySQL、Oracle、PolarDB等)抽取数据,再采取消息订阅的方式汇聚实时消息流数据,汇聚起来的数据可以去做一些数据处理,包括数据过滤、字符串替换和以后将会支持的Groovy函数,这也是一个比较标准的ETL流程。gydtep 发表于 2021-1-28 12:17:20
今天是数据库的“云+端”时代。无论是新媒体、移动应用、云计算以及物联网等,包括今年新冠疫情导致在线教育、在线办公都飞速发展,其实都代表着一个新的时代的开始。在这个阶段,云数据库起到了非常大的作用。比较典型的云数据库产品就是AWS的RDS和Redshift以及阿里云的PolarDB和ADB等。gydtep 发表于 2021-1-28 18:14:23
另一方面,电子邮件服务器可能需要大量存储,低延迟和良好的吞吐量,但它可能不需要非常苛刻的IOPS配置文件。gydtep 发表于 2021-1-29 09:34:02
此外,通过使用大量数据训练算法,以了解特定堆栈或整个应用如何收集和存储数据,它们可以帮助实现对该特定应用存储活动的实时观察,以防止堆栈最大化并改善存储容量。gydtep 发表于 2021-1-29 12:10:16
在测试时需要考虑很多方面和维度,保证软件各方面的质量。测试包括了集成测试、端到端的 E2E 测试、性能测试、压力测试、容错测试、兼容测试、破坏测试等。gydtep 发表于 2021-1-29 14:33:08
代码通过统一管理的代码库存储和管理起来,再通过持续集成将其变成一个交付物,再将其存储到交付物仓库里面。交付物可以是容器镜像,也可以是代码包的模式。产出了交付物之后,可以自动地将其部署到测试、生产环境中去做版本部署,最后实现到生产环境的自动部署。因此这样应用交付流程的关键点在于实现高度自动化,而自动化的关键环节有两点:分别是基础设施即代码和环节间的自动化串联。