gydtep

近几年里，大数据行业发展势头迅猛，故而相应的分布式产品和架构层出不穷，本文分享作者在大数据系统实践过程中接触过的一些工具及使用感受，抛砖引玉，和同学们一起构建一个分布式产品的全景图。

gydtep

Hive应该是最有名气的数据仓库工具了吧，他将HDFS上的数据组织成关系型数据库的形式，并提供了HiveSQL进行结构化查询，

gydtep

我的顾客有一些什么特点？为什么今天的销售额比昨天少了很多？

gydtep

除了HDFS，Hadoop 2.x也引入了YARN，该工具负责对集群中的资源进行管理和任务的协调。

gydtep

HBase的主要角色分别有HMaster和HRegionServer，同样是一对多的关系，而各节点的状态全都交由Zookeeper负责。

gydtep

Kylin是一个为OLAP场景量身定制的分布式数据仓库产品，提供多维分析的功能，并可以和很多BI分析工具无缝对接，比如Tableau、Superset等。

gydtep

我在使用时出现了Spark连接不稳的情况，需要使用者反复登录才可以。但总之我还是非常喜欢这款工具的。

gydtep

这家公司最初在1995年创立，进入前面提到的基于服务端日志解析的流量分析服务，1997年开始发展Javascript tagging技术，到1998年，JS tagging还是将日志发送到业务服务端进行日志分析为主，

gydtep

另一种方案通过http header中的referer作为来源，比如你在百度搜索网站hao123（记为链接A：baidu.com/s?），点击跳转后，hao123的首页（记为链接B：hao123.com/）就可以通过document.referer来获取来源为（记为链接C：baidu.com/link?）。

gydtep

经过多年的深耕，形成了一整套面向两个阶段的用户产品的体验技术架构。