gydtep
发表于 2019-12-30 15:32:30
如果您能够制定正确的数据策略，那么就可以以前所未有的机遇去迎接美好的未来。
gydtep
发表于 2019-12-30 16:07:05
利用大数据、人工智能等技术构建统一的数据资产，
gydtep
发表于 2019-12-30 17:23:45
但 Spark 底层还是采用微批（Micro Batching）处理的形式。
gydtep
发表于 2019-12-30 17:57:50
部署简单等优势。相比之下我们最终决定采用基于 Flink 的架构方案。
gydtep
发表于 2019-12-30 19:19:49
存储层：对清洗完成的数据进行数据存储，我们对此进行了实时用户画像的模型分层与构建，
gydtep
发表于 2019-12-30 21:21:49
在数据处理阶段，鉴于 Kafka 高吞吐量、高稳定性的特点，
gydtep
发表于 2019-12-31 08:34:42
ID-Mapping 数据由图结构模型构建，图节点包含 UserKey、Device、IdCard、Phone 等类型，
gydtep
发表于 2019-12-31 09:46:30
首先，这版的数据处理使用了自研的 Java 程序来实现。
gydtep
发表于 2019-12-31 10:12:25
另外这类异常大的子图会严重降低 JanusGraph 与 HBase 的查询性能。
gydtep
发表于 2019-12-31 10:40:57
历史数据的离线补录方式由 JAVA 服务变更为使用 Flink 实现。
