gydtep 发表于 2020-12-31 09:04:17
伴随着几十年的发展,IT系统中的监控、问题排查也逐渐抽象为可观察性工程。在当时,最主流的方式还是使用Metrics、Logging、Tracing的组合。gydtep 发表于 2020-12-31 12:15:08
目前的话还没有一个厂商能够非常好的支持OpenTelemetry的统一后端,现在还是需要自己去使用各个厂商的产品来实现。而这个带来的另一个问题是各个数据的关联会更加复杂,还需要去解决每个厂商之间的数据关联性问题。当然这个问题相信在1-2年肯定会解决掉,现在有众多厂商开始在努力实现OpenTelemetry所有类型数据的统一方案。gydtep 发表于 2020-12-31 14:49:51
在业界影响力方面,经过几年的发展,Flink 已经成为事实上的国内外实时计算行业标准,大部分主流科技公司均已采用 Flink 作为实时计算的技术方案。本届 Flink Forward Asia 邀请到 40 多家一线国内外公司参与分享 Flink 的技术探索和实践经验,上图列出了其中部分公司的 Logo。gydtep 发表于 2020-12-31 16:40:16
link 的流批一体数仓架构将实时离线链路合二为一,可以完全的解决上述这三个问题。不仅于此,Flink 的流批一体架构和数据湖所要解决的问题(流批一体存储问题)也完美契合。gydtep 发表于 2021-1-1 12:05:05
如果把摄像机看作人的眼睛,智能视频系统或设备则可以看作人的大脑。智能视频技术借助计算机强大的数据处理功能,对视频画面中的海量数据进行高速分析,过滤掉用户不关心的信息,仅仅为监控者提供有用的关键信息。gydtep 发表于 2021-1-3 08:06:45
实时分析决策的第一步就需要将数据实时同步到大数据计算引擎,DataWorks数据集成采用自研高性能引擎,在相同的机器规格情况下,RDS实时同步性能最高为其他数据同步方案的2倍,而价格可低至其1/4。通过DataWorks数据集成,企业可以进行高效、低成本、稳定的实时数据同步。gydtep 发表于 2021-1-4 09:03:41
另一种方法是使用已知可以在边缘AI中很好地工作的网络体系结构,并直接为目标平台训练它们。他发现,鉴于训练数据的数量和种类足够多,就绝对性能而言,这种方法通常可以胜过跨平台编译器方法。但是,它还需要在培训期间以及预处理和后期处理中进行一些手工操作。gydtep 发表于 2021-1-4 12:05:51
作为新数据代表的物联网,去年大约具有4.4ZB数据,而在2025年将会达到90ZB,也就是说仅物联网将会占据未来一半的数据量。此外,数据将会存储在什么地方呢?gydtep 发表于 2021-1-4 15:26:41
进一步来分析为什么会这样呢?2003年到2006年可以认为是大数据的诞生期,谷歌的三大论文发表对于业界产生了巨大的影响力,但是值得注意的一点是谷歌所提出的技术重点是解决分布式扩展问题,不一定应用在数据库上面。gydtep 发表于 2021-1-4 18:09:01
当看到数据库自治服务的产品介绍,比如SQL峰值自动限流、CPU自动扩容等特性,发现这些就是客户自身所需要的。因此,从市场需求来看,数据库自动驾驶这样服务是需要的。