gydtep

DataWorks数据集成可以追溯到2011年的DataX1.0和2.0版本，随后3.0版本正式对外提供服务，再后来公有云、专有云、阿里内部功能三版合一，建立了Data Integration 服务。在2019年，DataWorks数据集成完成了商业化，独享资源组上线，按量付费、包年包月的付费方式也成功面向了用户。在2020年，全增量实时同步解决方案正式发布。

gydtep

在这个过程中，很多公司推出了批处理、实时计算，但离线批量数仓和实时分析具有不可调和性，离线数仓满足不了业务时效性的要求，而绝对的实时数仓也不切实际，“近实时”才有意义，而实时分析、近实时的分析构建离不开实时数仓系统的构建。

gydtep

全观测场景下运维监控的痛点都是趋同的，比如日志/指标获取手段不一，获取成本高、日志/指标格式化挑战大、运维伸缩能力，峰值稳定性、海量数据长周期存储成本高、时序系统异常分析困难，日志分析工具检索性能瓶颈、可扩展性需求高等。为解决这些问题，Elasticsearch应运而生。开源Elasticsearch是一个基于Lucene的实时分布式的搜索与分析引擎，遵从Apache开源条款。它提供了一个分布式服务，可以提供快速的近乎于准实时的存储、查询和分析超大数据集。因其查询速度快、使用简单，通常被用来构建复杂查询特性。

gydtep

Elasticsearch为好未来提供了丰富异构数据源采集能力、模版化的日志解析处理能力、精确到字段级别的数据权限分割能力，支持用户灵活自定义权限体系，与企业自有权限体系对接打通，以及平滑的伸缩功能，集群热变更，对服务0影响等能力，满足客户在大流量场景下的实时直播质量监控与稳定性保障。

gydtep

而更上层的就是智能化应用，大家也正在逐渐形成统一的认识，那就是未来的应用一定是向着智能化发展。从IaaS到智能化应用需要经历一定的环节，而在这个环节中，数据库将会起到非常关键的作用，包括数据的产生、存储、消费和分析，这些都是数据库要去解决的问题。因此，我们可以看到无论是国际巨头还是国内厂商都在数据库里面投入了大量的资源。

gydtep

而到2020年，领导者象限发生了很大的变化，最强的领导者已经变为了AWS，其次是微软、谷歌、阿里云，这四家都是云计算厂商，这也印证了Gartner所认为的云才是未来。无论是从市场份额，还是技术引领方面以及营销方面，这些云厂商所提供的数据库都具有优秀的表现，所以才归入领导者象限内。而其他小厂商如果不和云结合，便很难在魔力象限中获得一席之地。能够进入魔力象限就已经是非常不错的厂商了，如果能够进入领导者象限，那就代表了Gartner认为这些厂商正在引领未来。

gydtep

为了更好加速业务创新和解决互联网规模的挑战，云原生应用架构与开发方式应运而生，与传统单体应用架构相比，分布式微服务架构具备更好的更快的迭代速度、更低的开发复杂性，更好的可扩展性和弹性。然而，正如星战宇宙中，原力既有光明也有黑暗的一面。微服务应用在部署、运维和管理的复杂性却大大增加。DevOps文化和背后支撑的自动化工具与平台能力成为关键。

gydtep

在容器技术出现之前，DevOps理论已经发展多年。但是如果”开发“与”运维“团队不能用相同的语言进行交流，一致的技术进行协作，那就永远无法打破组织和文化的藩篱。Docker容器技术的出现，实现了软件交付流程的标准化，一次构建，随处部署。结合云计算可编程基础设施和Kubernetes声明式的API。可以通过流水线去实现自动化的持续集成与持续交付应用和基础设施，大大加速了开发和运维角色的融合。

gydtep

云原生也是对团队业务价值和功能的重构。传统运维团队的一些职责转移到开发团队，如应用配置和发布，降低了每次发布的人力成本，而运维职责将更加关注系统的稳定性和IT治理。Google倡导的SRE Site Reliability Engineering - 站点可靠性工程），是通过软件和自动化手段，来解决系统的运维复杂性和稳定性问题。此外，安全与成本优化也成为云上运维关注重点。

gydtep

云原生技术出现也带来了企业IT组织结构的变化。为了更好应对业务敏捷性的需要，微服务应用架构催生了 “双比萨团队”（Two-pizza teams) 。较小的、独立的、自包含的开发团队可以更好达成共识，加速业务创新。SRE团队成为了水平支撑团队，支撑上层研发效率提升和系统稳定性。而随着 Kubernetes的发展，让SRE团队可以基于K8s构建自己企业的应用平台，推进标准化和自动化，让上层应用开发团队通过自服务的方式进行资源管理和应用生命周期管理。我们看到组织方式进一步发生了变化。新的平台工程团队开始浮现。