锐辉高防IDC

大数据采集站群服务器租用多IP服务器Hadoop原理应用站群百兆独享

需要服务器咨询以下联系方式
联系人：锐辉敏敏
扣扣：3007425289/2853898501
电话：18316411879
官网：huoshaocloud.com

一个网站的服务器性能比较差，负载能力有限，优势面临突发流量，招架不住，直接导致服务器奔溃，网站打不开，尤其是电商网站在节日期间，因为这种情况网站打不开，导致销售额白白流失。
　　使用CDN后有什么有好处?
　　1.不用担心自己网站访客在任何时间，任何地点，任何网络运营商，都能快速打开。
　　2.各种服务器器虚拟主机带宽等采购成本，包括后期运维成本都会大大减少。
　　3.给网站直接带来的好处就是：流量，咨询量，客户量，成单量，都会得到大幅度提升。

　　高防服务器的保护性比一般的网络服务器更强一些，一些网络游戏、游戏等网址常常会挑选这一种网络服务器。但是要留意的是租赁的那时候必须充分考虑本身的具体情况开展选择，那怎样才能挑到适合的呢?
　　1、 防御力范畴
　　不一样的高防服务器可以防御力的进攻不一样，在挑选的那时候要主要看其是不是能开展HTTP特点过虑、URI过虑等，也有可否抵挡住传输层SYN、UDP、IMCP等进攻，及其能否抵挡frag flood、smurf、stream flood、land flood等畸型报文格式的进攻。
　　2、依据防御力类型
　　公司在开展租赁时，需看的就是说服务器防火墙的种类，一种是手机软件的，必须依靠实际操作服务平台，而另一种是硬件设备，由手机软件和硬件设备构成的，是置入系统软件里的，综上所述，硬件设备的防御力特性更强一些。
　　3、查询防御力“范畴”的尺寸
　　高防服务器有大数据中心，也都是含有服务器防火墙，挑选以前要看一下其所需的服务器防火墙是否在100G左右，另外要融合公司的成本费，也有平常被黑客攻击的普遍情况开展挑选。
　　4、 挑选充足的网络带宽
　　许多公司是第一次开展高防服务器服务器租用，针对网络带宽这一源将会并有那掌握，此刻，何不多下一些时间，多看阅读几间有资质证书的IDC企业，并向每家的在线客服开展资询，让其强烈推荐下合适公司时下状况的网络服务器，挑选到足用的网络带宽。
13.1 HDFS原理及应用

分而治之简单介绍

Hadoop(5.x版本比较好)。批转流计算(批量积攒一段时间数据，然后流式处理)

内存寻址(纳秒级)比IO寻址(磁盘毫秒级)快10万倍，差6个0
固态硬盘IO一般 500mb/s, 机械硬盘 几百mb/s. IO是瓶颈

问题：1T文件如何在内存50mb的单机上排序存储文件？

1 Hash Mod三列到200个小文件中(每个文件50mb)。然后每个小文件放到内存排序
2 每个文件之间内部有序，外部无序。每个文件设置一个变量，200个变量中依次取数比较放入新文件(归并排序思想)

HDFS

用来分治的分布式文件系统。
更好的支持分布式计算，目录树结构

HDFS整体介绍，我的笔记都来源于此：储存模型，架构设计，持久化，读写流程等很全面

应用

1 基础设施
安装hadoop，java jdk
下载ssh(可远程登录管理)
        可在A服务器下输入B服务器账号密码，然后在A服务器下操作B服务器
ssh设免秘钥
设host IP地址映射，关闭防火墙，不同系统之间时间同步
设置主机名称 HOSTNAME=node1
设置IP

2 部署配置
        1 hadoop配置，创建文件夹并解压
        2 vi/etc/profile配置环境变量
                export JAVA_HOME=...
                export HADOOP_HOME=...
                export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin(hadoop有两个bin)
        3 source/etc/profile(加载配置文件)
        4 配置hadoop角色
                a cd $HADOOP_HOME/etc/hadoop
                b vi hadoop_env.sh -> export JAVA_HOME=/user/java/default
                (跨系统取不到对方JAVA_HOME,也就无法运行代码，直接再这里本地暴露自己JAVA_HOME)
                c vi core-site.xml 定义NameNode在哪里 如hdfs:node1:9000 (ip:port)
                d vi halfs-site.xml 配置副本数量，NameNode数据和DataNode数据放哪个目录。HA模式下，配置JournalNode。非HA模式下，配置SSN在这里
                e vi slaves 配置DataNode在哪里启动
        5 初始化启动
                格式化数据，基本仅一次。
                -start-dfs.sh 读取我们配置文件并启动

HA模式

高可用，多个NameNode，主备切换

多个NN如何数据同步？-- 哎又是Zookeeper啊
        1 树节点强锁(临时节点)
        2 事件机制-> watch监控 callback回调
        3 临时节点
多台NN分Active状态和StandBy状态。Active对外服务。增加JournalNode角色(大于3台)负责同步NN editlog(最终一致)。增加Zookeeper(与NN同台)负责NN主从选举和切换，DN同时向NN们回报block清单。
HA中无SNN角色(一段时间)，由StandBy代替(实时的)

集群
        应用搭建：HA依赖ZK，搭建ZK集群。修改hadoop配置文件并集群同步

        初始化启动
                1 启动JournalNode
                2 选一个NN格式化，仅一次
                3 启动这个NN以备另一台同步
                4 另一台机器中:hdfs namenode_bootstrapStandby 同步
                5 格式化ZK，仅一次
                6 start_dfs.sh启动
       
        使用

权限

hdfs是一个文件系统，类似unix，linux
有用户权限概念，有超级用户概念
权限hdfs来自namenode自己控制
默认hdfs依赖操作系统上用户和组

HDFS API

windows下
        环境变量配置HADOOP_USER_NAME
        maven加入依赖

        eclipse下
                配置类Resource下有core-site.xml/hdfs-site.xml

                public Configuartion conf = new Configuration(true)//调用配置类信息
                public FileSystem fs = FileSystem.get(conf);
                Path dir = new Path("xxx");
                if(fs.exists(dir)){
                        fs.delete(dir,true);
                }
                fk.mkdirs(dir);
                fs = FileSystem.get(URL.create("xxx"),conf,"user") // 拿文件，user为用户

        上传文件
                BufferInputStream input = new ~(xxx.txt);
                Path outfile = new Path(xxx);
                FSDataOutputStream output = fc.create(outfile);
                IOUtils.copyBytes(input,output,conf,true);

        下载文件
                Path file = new ~;
                FileStatus fss = fs.getFileStatus(file);
                BlockLocation [] blks = fc.getFileBlockLocations(fss,0,fss.getLen()); //0偏移量，fss.getLen()返回fss所有block数据
                for(BlockLocation b:bks){
                        System.out.println(b);
                }

                  FSDataInputStream in = fs.open(file);
                  in.seek(123456);//根据偏移量只读自己需要的数据，同时数据从距离近的DataNode上读

13.2 MapReduce与Yarn原理及应用

Map：映射 ，变换，过滤。 1进n出
Reduce：分解，缩小，归纳
key value：key划分数据分组(group),group不可拆分

data经过map到中间数据集，经过reduce最终result集

简单流程图



一个切片约为一个block块。block为物理切分，split切片为逻辑切分。加入逻辑切分用来解耦
map并行数量由切片决定，只有map部分1对1，一个切片对应一个map。
reduce并行度由人决定

详细流程图



        序号1 切片会格式化出记录，以记录为单位调用map方法
        序号2 map输出kv映射(kv参与分区计算，拿k计算出 kvp (partition分区号))放入内存中
                  map任务输出是一个文件，保存在本地系统中
        序号3 在内存中分区有序的排序，减少后面排序压力。
        序号4 当内存写满则批量数据写入磁盘，并进行二次排序，分区内有序。批量是为了减少操作系统上下文开销
        序号5 reduce归并排序和reduce方法计算同时发生，尽量减少IO开销
                  有批量计算中非常好的迭代器模式支持

具体Map_Reduce例子

总结

HDFS
        储存模型：切块；散列->分治
        目的：分布式计算
        实现：角色NN,DN
        重点：读写流程

MapReduce
        计算模型(批量计算)
                2阶段
                        map：单条记录加工处理
                        reduce：多条记录加工处理
                实现
                        JobTracker (做决策)
                        TaskTracker
                        Client

角色实现具体流程

Client：会根据每次计算数据查询NameNode元数据block计算出切片，做出规划得到切片清单。最后真正数据放哪还是JobTracker决策
JobTracker:
        1 启动后从HDFS中读取split切片清单
        2 根据自己收到的TaskTracker(有心跳)回报资源，最终确定每一个切片对应的map去哪个节点(确定最终清单)
        3 TaskTracker心跳时取回分配给自己任务信心执行
TaskTracker (在DataNode下)
        1 心跳取到任务
        2 从HDFS下载jar.xml等到本机
        3 最终启动任务描述中的map和reduce任务

代码从某一个节点启动，通过客户端上传初步决策，JobTracker最终决策，TaskTracker下载执行计算

问题

JobTracker
        1 单点故障
        2 压力过大
        3 集成资源管理任务调度，未来新计算框架不能复用资源管理(互相不能感知，资源争抢，如2个隔离JobTracker就无法调度)

Yarn诞生了，解决了所有这些问题

Yarn

跳过一大段复杂具体细节，直接简单总结

        每个节点都有一个Application Master(有资源调度能力，但是没有资源管理能力)。
        Resource Manager选出一个Application Master帮他分析用哪个container执行
        然后RM来具体要求container从HDFS下载jar.xml并启动map reduce任务

Resource Manager是主节点，NodeManager从节点，NodeManager包含Container和Application master
TaskTracker类似container，JobTracker类似Application master，然后Resource Manager统顾所有

Resource Manager主从则需要用Zookeeper。Yarn会RM进程中加入HA，Zookeeper自动连接不用再配置

Yarn和HDFS互相独立不冲突。

Yarn搭建

mapred-site.xml配置yarn，表示要用yarn而不是单机
yarn-site.xml配置
        <name>nodemanager</name>
        <value>mapreduce_shuffle</value>
        配置ResourceManager设成true，Zookeeper，集群id和集群物理映射
start-yarn.sh启动yarn

测试wordcount(cd到mapreduce目录下)
        jar hadoop xx.jar wordcount 输入path 输出path

Eclipse下

写代码表面类似单机运行，底层分布式运行
resource下配置mapred-site.xml/yarn-site.xml

~WordCount~{
        Configuration conf = new Configuration(true);
        Job job = Job.getInstance(conf);
        job.setJarByClass(WordCount.class);
       
        //输入文件路径 job.setInputPath();
        //输出文件路径 job.setOutputPath();
        Path infile = new Path(~由参数动态写入) //现在使用方法
        TestInputFormat.addInputPath(job.infile);
        Path outfile = new Path(~由参数动态写入)
        TestInputFormat.addOutputPath(job.outfile);

        job.setMapperClass(mapper.class);//map逻辑
        job.setMapOutputKeyClass(Text.class); //告诉map key是什么类型
        job.setReduceClass(reduce.class);//reduce逻辑

        job.waitForCompletion(true);
}

实现map.class和reduce.class逻辑
public class mapper extends Mapper<Object,Text,Text,IntWritable>{
        //hadoop有一套自己的序列化，反序列化
        //也可以自己开发序列化，反序列化
        private Text word = new Text();
        public void map(Object key, Text value,Context context){
                //Object key每一行字符串第一个字节面向源文件的偏移量
                //Text value真正字符串
                //写入map业务逻辑，通过前面具体Map_Reduce例子笔记图
        }
}

public class reduce extends Reducer~{
        ~
        ~reduce~{
                //写入reduce业务逻辑，通过前面具体Map_Reduce例子笔记图
        }
}