gydtep
发表于 2021-1-27 13:44:48
在全增量实时同步解决方案系统中，可以从MySql、Oracle、IBM DB2、SQL server、POLARDB等关系型数据库中全量离线同步到MaxCompute、Hologres、Elasticsearch、Kafka、DataHub等大数据产品中，再实现实时抽取关系型数据库的变更信息，同步到大数据产品中。
gydtep
发表于 2021-1-27 14:12:31
像MaxCompute这种离线数仓，可以通过同步到Log表、拆分至Delta表、Merge到Base表，最后再写入MaxCompute这样的方式做实时增量同步。
gydtep
发表于 2021-1-27 14:37:37
处理好的数据可以多路输出到不同数据源，再配合上实时运维监控和告警系统，就形成了整库全增量的解决方案，让实时同步具备从整库全量同步到整库实时增量同步再到大数据自动增量融合这样的完整链路。
gydtep
发表于 2021-1-27 15:34:51
基于阿里QuickBI进或第三方数据分析工具如Tableau行数据可视化，以及构建各业务板块数据服务门户应用。
gydtep
发表于 2021-1-28 06:51:42
另外，实时同步的架构是高可用的，DataWorks数据集成在管控层和执行层都做了备用机器结构，如果调度或者数据传输链路断了，可以紧急地切换到另一条链路，保证任务的稳定执行。
gydtep
发表于 2021-1-28 08:05:25
数据集成将数据同步过来以后，我们需要实时的数据仓库将这些数据更好地应用起来。刚才简单介绍了实时数仓的解决方案，接下来我们向大家详细介绍基于Hologres和Flink的实时数据分析方案。
gydtep
发表于 2021-1-28 08:40:30
同时通过与达摩院向量引擎库Proxima的深度集成，可应用于实时推荐场景，实时推荐依赖特征查询、实时指标计算、向量检索召回，Hologres向量查询功能与Proxima深度整合可以提供高性能的向量查询服务，再加Flink和PAI，可以应用于实时个性化推荐、图像、视频及人脸等，提高广告留存率。
gydtep
发表于 2021-1-28 12:18:45
而按照商业和开源数据库的角度来看，两者依旧是平分天下。在商业数据库领域，具有代表性的数据库有Oracle、SQL Server等；而在开源数据库领域，具有代表性的数据库有MySQL和PG等。
gydtep
发表于 2021-1-28 12:40:12
为什么大家都来做数据库呢？AWS认为数据库是未来的兵家必争之地，因此一直以来对于数据库非常重视，每年的AWS re: Invent 上都有很多关于数据库的重磅专题发布。
gydtep
发表于 2021-1-28 13:06:19
数据库、数据仓库和大数据这几个概念往往交织在一起，如今的一个观点是数据库和大数据技术朝着一体化发展。Gartner在报告中已经将OLAP和OLTP以及大数据合并在一起了，这是因为他们在之前评估OLAP和OLTP以及大数据的魔力象限时会发现各个厂商都在拿同样的产品出来，因此可以看出各个厂商的产品都在向融合化的方向发展。而对于用户而言，也不想要了解清楚各个技术概念，其所关心的是业务价值。总而言之，数据库和大数据技术正在朝着一体化的方向发展。
