论坛 › IDC信息交流 › 免费领取阿里云服务器2000元代金券！

gydtep 发表于 2020-12-31 18:37:08

到今年双十一，Flink 已包揽阿里内部所有集团（包括蚂蚁，钉钉，菜鸟等）的全链路实时化解决方案，规模达到百万级 CPU Core。并且在资源没有增长的情况下，提高了一倍业务能力。今年双十一的实时数据处理峰值更是达到 40 亿条记录/秒的新高。

gydtep 发表于 2020-12-31 18:49:39

莫问老师强调，“全数据链路实时化”并不是终点，阿里巴巴的目标是“实时离线一体化”。2020 年，Flink 迎来了实时离线流批一体的新纪元 –– 首次在双十一最核心场景天猫营销活动分析大屏场景中落地，并带来了巨大的收益

gydtep 发表于 2020-12-31 19:20:05

在行业实践分会场中的《流批一体技术在天猫双 11 的应用》对此有更详尽的介绍，感兴趣的同学可以参考一下。在行业内，字节跳动，美团，快手，知乎，小米，网易等都在探索 Flink 流批一体的落地。

gydtep 发表于 2020-12-31 19:48:37

第二场议题由美团实时计算负责人鞠大升老师带来，主要分享了 Flink 在美团内部的应用。鞠大升老师首先分享了美团数仓的整体架构。如下图所示。美团数据架构包括数据集成系统、数据处理系统、数据消费和数据应用四部分。

gydtep 发表于 2020-12-31 20:48:42

Flink 主要应用在 Kafka2Hive、实时数据处理、Datalink 等（图中红圈的部分），而他本次分享也主要集中在这几个部分。Flink 在美团的主要应用场景包括实时数仓，实时分析；推荐搜索；风控监控；安全审计。这几个应用场景其实也是 Flink 现在的几个最主流的应用场景。

gydtep 发表于 2020-12-31 21:11:32

美团的分享有两个比较有趣的部分，一是提出了“增量生产”这个概念。这其实和莫问老师提到的全量增量一体化数据集成异曲同工。但在这个概念里，增加了数据时效性，数据质量和生产成本之间的权衡考量，也即如何在一个数仓业务中在满足时效性的情况下能更有效的控制成本和提升数据质量。

gydtep 发表于 2020-12-31 22:02:33

二是美团基于 Flink 架构解决了分布式异构数据源同步（Datalink）的问题。他们基于 Flink 的同步系统可以将同步任务通过 Task Manager 分散到集群中，使得整体架构有很好的扩展性；另一方面，离线和实时的同步任务可以都统一到 Flink 框架中，所以离线和实时所有同步的组件都可以共用。

gydtep 发表于 2021-1-1 07:42:58

关于人工智能的发展，可以追述到60几年前，但因为技术的原因数次沉寂，直到深度学习的出现，让人工智能再次掀起热潮。那，什么是深度智能呢？2021年深度智能的发展趋势又是如何的呢？

gydtep 发表于 2021-1-1 09:51:36

多年来的城市智能化治理和建设积累了海量的视频监控数据资源，再加上资本对人工智能算法领域的不断投入，各方面的资源储备为人工智能技术在视频监控行业的大规模商用创造了条件。

gydtep 发表于 2021-1-1 10:36:22

人工智能、深度学习浪潮直观的反映出行业往深度智能阶段发展的趋势走向，这并非偶然现象，几大应用市场需求的驱动，上游深度学习芯片和算法的开源，行业所具备的天然的海量数据训练集特征等多维因素一起推动了安防走向深度智能化。

查看完整版本: 免费领取阿里云服务器2000元代金券！