[国内信息] 阿里云香港云服务器低至119元/年，无需备案 [复制链接]
查看:30458 | 回复:1849

gydtep · 发表于 2019-12-30 15:32:30

如果您能够制定正确的数据策略，那么就可以以前所未有的机遇去迎接美好的未来。

gydtep · 发表于 2019-12-30 16:07:05

利用大数据、人工智能等技术构建统一的数据资产，

gydtep · 发表于 2019-12-30 17:23:45

但 Spark 底层还是采用微批（Micro Batching）处理的形式。

gydtep · 发表于 2019-12-30 17:57:50

部署简单等优势。相比之下我们最终决定采用基于 Flink 的架构方案。

gydtep · 发表于 2019-12-30 19:19:49

存储层：对清洗完成的数据进行数据存储，我们对此进行了实时用户画像的模型分层与构建，

gydtep · 发表于 2019-12-30 21:21:49

在数据处理阶段，鉴于 Kafka 高吞吐量、高稳定性的特点，

gydtep · 发表于 2019-12-31 08:34:42

ID-Mapping 数据由图结构模型构建，图节点包含 UserKey、Device、IdCard、Phone 等类型，

gydtep · 发表于 2019-12-31 09:46:30

首先，这版的数据处理使用了自研的 Java 程序来实现。

gydtep · 发表于 2019-12-31 10:12:25

另外这类异常大的子图会严重降低 JanusGraph 与 HBase 的查询性能。

gydtep · 发表于 2019-12-31 10:40:57

历史数据的离线补录方式由 JAVA 服务变更为使用 Flink 实现。