gydtep
发表于 2021-3-10 11:51:28
处理好的数据可以多路输出到不同数据源,再配合上实时运维监控和告警系统,就形成了整库全增量的解决方案,让实时同步具备从整库全量同步到整库实时增量同步再到大数据自动增量融合这样的完整链路。另外,实时同步的架构是高可用的,DataWorks数据集成在管控层和执行层都做了备用机器结构,如果调度或者数据传输链路断了,可以紧急地切换到另一条链路,保证任务的稳定执行。
gydtep
发表于 2021-3-10 12:23:16
数据集成的实时同步技术自带脏数据收集机制,在整个ETL的链路中,无论是读取端还是写入端不支持的数据,都可以通过插件中心的能力收集并输出到用户配置的目标端,包括本地日志、Loghub、MaxCompute等,为数据的再处理提供支持。
gydtep
发表于 2021-3-10 14:27:12
3)从使用上来说,离线加工,实时加工以及统一数据服务层等处理过程中均使用不同的加工语言和接口,使用起来并不容易;
4)学习成本非常高,增大了应用成本。
gydtep
发表于 2021-3-10 16:31:48
Elastic Stack的能力基本解决了全观测场景下的6个痛点:
1)Beats获取日志/指标,提供支持Autodiscover的Beats Agent,统一收集各类数据
2)拥有丰富的格式化日志/指标手段,包括各个开源软件、网络格式的日志/指标采模板,无需格式化,拥有实时数据加工处理的扩展组件,提供丰富的转化UDF/Plugin
gydtep
发表于 2021-3-11 07:50:44
而更上层的就是智能化应用,大家也正在逐渐形成统一的认识,那就是未来的应用一定是向着智能化发展。从IaaS到智能化应用需要经历一定的环节,而在这个环节中,数据库将会起到非常关键的作用,包括数据的产生、存储、消费和分析,这些都是数据库要去解决的问题。因此,我们可以看到无论是国际巨头还是国内厂商都在数据库里面投入了大量的资源。
gydtep
发表于 2021-3-11 10:03:18
数据库、数据仓库和大数据这几个概念往往交织在一起,如今的一个观点是数据库和大数据技术朝着一体化发展。Gartner在报告中已经将OLAP和OLTP以及大数据合并在一起了,这是因为他们在之前评估OLAP和OLTP以及大数据的魔力象限时会发现各个厂商都在拿同样的产品出来,因此可以看出各个厂商的产品都在向融合化的方向发展。而对于用户而言,也不想要了解清楚各个技术概念,其所关心的是业务价值。总而言之,数据库和大数据技术正在朝着一体化的方向发展。
gydtep
发表于 2021-3-11 13:30:00
过去的 2020 是充满不确定性的一年,但也是充满机遇的一年。突发的新冠疫情为全社会的数字化转型按下加速键。云计算已经不再是一种技术,而已经成为了支撑数字经济发展和业务创新的关键基础设施。在利用云计算重塑企业IT的过程中,生于云、长于云、最大化实现云价值的云原生技术都到越来越多企业的认同,成为企业IT降本提效的重要手段。然而,云原生变革也不止是基础设施和应用架构等技术层面,同时也在推进企业IT组织、流程和文化的变革。
gydtep
发表于 2021-3-11 13:53:45
为了更好加速业务创新和解决互联网规模的挑战,云原生应用架构与开发方式应运而生,与传统单体应用架构相比,分布式微服务架构具备更好的更快的迭代速度、更低的开发复杂性,更好的可扩展性和弹性。然而,正如星战宇宙中,原力既有光明也有黑暗的一面。微服务应用在部署、运维和管理的复杂性却大大增加。DevOps文化和背后支撑的自动化工具与平台能力成为关键。
gydtep
发表于 2021-3-11 14:14:26
在容器技术出现之前,DevOps理论已经发展多年。但是如果”开发“与”运维“团队不能用相同的语言进行交流,一致的技术进行协作,那就永远无法打破组织和文化的藩篱。Docker容器技术的出现,实现了软件交付流程的标准化,一次构建,随处部署。结合云计算可编程基础设施和Kubernetes声明式的API。可以通过流水线去实现自动化的持续集成与持续交付应用和基础设施,大大加速了开发和运维角色的融合。
gydtep
发表于 2021-3-11 16:53:34
K8s集群管理:阿里云容器服务ACK的节点池管理,集群管理等完全都是采用Kubernetes方式进行自动化管理与运维的。ACK Infra支撑了部署在全球各地数万个Kubernetes集群,基于K8s完成自动化了扩缩容、故障发现/自愈等能力。