可以对接Spark、Flink等开源处理工具进行更多格式化统一，最后存储在Elasticsearch上提供给Kibana进行数据可视化监控告警，通过关联分析和机器学习去充分利用分散在整个系统各层的数据，更好的发挥一些数据的价值。
使用阿里云Databricks数据洞察构建Hadoop生态的批流一体实时数仓
除了Hologres+Flink构建实时数仓，很多公司正在使用Hadoop生态引擎构建大数据分析平台，并且已经在成熟地使用离线数据仓库。阿里云Databricks数据洞察可以基于Hadoop生态构建批流一体的实时数仓，对企业现有架构进行升级，满足实时分析决策的要求。
企业基于Hadoop生态构建大数据平台是总有些无法绕开的问题，比如：
1）想对作业调优，但是不懂内核，技术门槛高、运维人员缺乏
2）集群维护成本高、随着时间的推移，HDFS上的数据存储成本越来越高
第二阶段：上世纪七八十年代，此时小型机已经开始普及。不仅是在国防和科学研究，更多的是在商业领域，包括银行这样的系统开始应用小型机。与此同时，关系型数据库开始诞生，出现了包括DB2、Oracle以及Ingres等之名关系型数据库。
第三阶段：上世纪九十年代，此时PC机、X86以及局域网等基础设施已经非常健全，IT应用范围已经扩展到企业全面的信息化，关系型数据库开始蓬勃发展，出现了数据仓库以及单机数据库，比如SQL Server、dBase等数据库。
过去十年，基础架构上云，互联网应用架构升级，研发流程敏捷化几个技术大趋势相交汇，与容器、Serverless、服务网格等技术创新相结合，共同催生了云原生的理念诞生和发展。
基础架构管理：与开源的Terraform或者云供应商自身提供的Infrastructure as Code(IaC)工具如阿里云ROS, AWS CloudFormation不同，Crossplane和AWS Controllers for Kubernetes在Kubernetes基础之上扩展了对基础设施的管理和抽象。这样可以采用一致的方式进行管理和变更K8s应用和云基础设施。
通过左移安全性，不仅可以降低安全风险，还可以降低修复成本。IBM的研究人员发现，解决设计中的安全问题比代码开发期间能节省6倍左右的成本，比测试期间能节省15倍左右的成本。
DevOps 研发协作流程也随之扩展成为 DevSecOps。它首先是理念文化的变化，安全成为每个人的责任，而非专注安全团队的责任；其次尽早解决安全问题，将安全左移到软件设计阶段，降低整体安全治理成本；最后是通过自动化工具链而非人治方式，实现风险预防、持续监测和及时响应能力。
DevOps 研发协作流程也随之扩展成为 DevSecOps。它首先是理念文化的变化，安全成为每个人的责任，而非专注安全团队的责任；其次尽早解决安全问题，将安全左移到软件设计阶段，降低整体安全治理成本；最后是通过自动化工具链而非人治方式，实现风险预防、持续监测和及时响应能力。
