gydtep

当今生活节奏日益加快，企业面对不断增加的海量信息

gydtep

旨在实现“数据驱动业务与运营”的集团战略。目前该系统支持日处理数据量超 10 亿，接入上百种合规数据源。

gydtep

首先其流式计算属于真正意义上的单条处理，即每一条数据都会触发计算。

gydtep

为此我们的服务需要打通多种数据源，对海量的数字信息进行实时不间断的数据清洗、聚类、分析，

gydtep

服务层：对外提供统一的数据查询服务，支持从底层明细数据到聚合层数据的多维计算服务。

gydtep

。数据清洗阶段利用 Flink 来实现用户唯一性识别、行为数据的清洗等，

gydtep

节点之间边的生成规则是通过解析数据流中包含的节点信息，以一定的优先级顺序进行节点之间的连接，

gydtep

同时它的维护成本很高，因此我们决定在新版本**处理逻辑全部迁移至 Flink 中。

gydtep

此外，由于数据经过了 PB 序列化，使得其原始存储格式不可读，增加了排查问题的难度。

gydtep

1.0 版本中一条数据需要平均读取十多次 HBase 的情况也得到极大缓解。