gydtep

下图是由著名的数据观察家Matt Turck在他的BLOG（https://mattturck.com/） 里发出的2019年人工智能和大数据产业图，他从2012年开始每年都会绘制一张，

gydtep

从这种结构上能看出一些比较明显的问题就是NN节点的单点问题，所以在Hadoop 2.x的时候，针对NN做了一些改进。

gydtep

提到流量运营的历史，我们首先需要简单介绍一下互联网的历史。人类最伟大的构想往往都需要几代人不断地尝试和完善，蒸汽机如此，飞行器如此，攻克癌症也将如此。

gydtep

1993年，在互联网诞生3年后，全世界有大约600个网站，如果你有幸成为这600个提供互联网服务的网站主之一，

gydtep

此时诞生了Analog，一款免费的流量分析工具，并且提供一定的可视化分析能力。当然，到目前为止，互联网网页还是以静态页面为主，

gydtep

其次，由于单台NN中存储了大量的元数据信息，所以随着HDFS数据量的不断增加，显然NN必将成为系统的瓶颈，

gydtep

为了解决这个问题，Hadoop 2.x增加了Federation，该技术允许系统中有多台NN同时对外提供服务，这多台NN将DN中的所有文件路径进行了横向拆分，每个DN负责不同的路径，达到了横向扩展的效果。

gydtep

二是充当读取数据时的缓存。三是定期对数据操作去重，并进行数据落盘。

gydtep

Flink是德国Data Artisans公司开发一款分布式计算系统，该公司于19年初被阿里巴巴集团收购。

gydtep

包括Spark和Kafka，也都看到了未来流式计算的前景是非常巨大的，纷纷建立属于自己的流式计算生态圈。