gydtep
发表于 2021-12-30 10:04:01
在全增量实时同步解决方案系统中，可以从MySql、Oracle、IBM DB2、SQL server、POLARDB等关系型数据库中全量离线同步到MaxCompute、Hologres、Elasticsearch、Kafka、DataHub等大数据产品中，再实现实时抽取关系型数据库的变更信息，同步到大数据产品中。像MaxCompute这种离线数仓，可以通过同步到Log表、拆分至Delta表、Merge到Base表，最后再写入MaxCompute这样的方式做实时增量同步。
gydtep
发表于 2021-12-30 13:02:39
MaxCompute交互式分析（Hologres）提出实时数仓“服务分析一体化”的概念，让一个大数据引擎既能满足 OLAP的实时洞察分析又能满足KV式的高QPS点查特征服务的需求，将实时分析和服务做到很好的融合，极大的简化了实时数仓架构的复杂度，助力客户实时的分析与决策。
gydtep
发表于 2021-12-30 13:52:40
因此架构简化、成本优化、数据统一、学习门槛低、适应业务敏捷、自助式分析趋势成为了迫切的需求，企业期望有一款全新的大数据产品，可以满足实时写入、实时计算、实时洞察需求；能做到实时离线一体化，减少数据移动，业务技术解耦支持自助式分析，从而简化整个业务系统架构。
gydtep
发表于 2021-12-30 15:30:12
Holgores+Flink+MaxCompute可以实现“实时、离线、分析、服务一体化方案”。冷数据存储在MaxCompute中，热数据存储在Hologres中。
gydtep
发表于 2021-12-30 16:41:02
我们的实时数据除了存储在大数据引擎中，还有很多非结构化的日志数据，通过阿里云的Elasticsearch，用全托管的方式提供低成本的冷热存储方案，轻松助力企业搭建统一的云上全观测运维监控平台，实现海量数据的实时监控分析，提高自动化运维管理效率。
gydtep
发表于 2021-12-30 17:24:37
全观测场景下运维监控的痛点都是趋同的，比如日志/指标获取手段不一，获取成本高、日志/指标格式化挑战大、运维伸缩能力，峰值稳定性、海量数据长周期存储成本高、时序系统异常分析困难，
gydtep
发表于 2021-12-30 19:00:07
6）扩展性：基于分布式架构，以及灵活开放的RestAPI和Plugin框架，背后的开源社区也在为全新的技术栈提供丰富的对接手段
gydtep
发表于 2021-12-30 20:09:45
阿里云将于2021年1月推出阿里云Elasticsearch时序写入Serverless版，可大幅降低时序/日志场景使用成本。用户将无须关注ES集群写入资源与写入压力，业务请求发生变化时，由云端Serverless调配物理资源，按需使用，按量付费，超强弹性扩容能力，提供低成本的本地型计算和存储节点，降低数据存储成本。
gydtep
发表于 2021-12-30 20:54:51
Elasticsearch为好未来提供了丰富异构数据源采集能力、模版化的日志解析处理能力、精确到字段级别的数据权限分割能力，支持用户灵活自定义权限体系，与企业自有权限体系对接打通，以及平滑的伸缩功能，集群热变更，对服务0影响等能力，满足客户在大流量场景下的实时直播质量监控与稳定性保障。
gydtep
发表于 2021-12-31 08:33:48
除了Hologres+Flink构建实时数仓，很多公司正在使用Hadoop生态引擎构建大数据分析平台，并且已经在成熟地使用离线数据仓库。阿里云Databricks数据洞察可以基于Hadoop生态构建批流一体的实时数仓，对企业现有架构进行升级，满足实时分析决策的要求。
