Bendy

接上文

分享些工作上的经验,[机房自动检测域名/检测备案/自动白名单]   一  核心镜像流量 二  自制流量分析系统 三  自动检测备案信息

第一步将相应流量通过监控端口流到监控机...
但我们没有专业的监控..分析...
结合我们的实际情况..(本人并不专长于数据流量分析)
我选择了一台性能较好的品牌机进行处理.
需要双网卡...而且是千兆的..
安装使用LINUX系统(我用CENTOS 6.2 64BIT)
机器物理接法是...网卡eth0接公网.配置管理IP.   网卡eth1接监控口.不配置IP.

我也不对机器做什么优化了...就安装基本系统.
然后使用YUM 安装下面几个我们需要用到的组件.
httpd
php53
php53-mysql
mysql
mysql-server
以上几个...是为了方便管理数据库.PHP是我必须使用的程序.
screen    这个是为了后台运行.控制...
wireshark   这个是截取数据包..可以算是TCPDUMP的增强版.

然后再在/var/www/html放上phpmyadmin ...就可以有MYSQL管理了.

设置MYSQL密码等..

下面是主要步骤
一\    新建一个数据库..
用于保存域名信息....这个数据库比较重要.

1. 
   
2. --
   
3. -- 表的结构 `domain`
   
4. --
   
5. 
   
6. CREATE TABLE IF NOT EXISTS `domain` (
   
7.   `id` int(5) unsigned NOT NULL auto_increment,                             
   
8.   `d` varchar(32) character set utf8 NOT NULL,
   
9.   `ip` varchar(16) character set utf8 NOT NULL,
   
10.   `checktime` datetime default NULL,
    
11.   `beiantime` datetime default NULL,
    
12.   `beianhao` varchar(30) character set utf8 NOT NULL,
    
13.   `beianinfo` text character set utf8,
    
14.   PRIMARY KEY  (`id`),
    
15.   KEY `domain` (`d`)
    
16. ) ENGINE=MyISAM  DEFAULT CHARSET=latin1 ;
    

复制代码

id 是序号
d是域名
IP是对应服务器IP
CHECKTIME是域名检测更新时间.
BEIANTIME 是备案检测更新时间
BEIANHAO 备案号
BEIANINFO 备案信息

很简单的结构.


第二步, 检测程序.
我只会PHP..只好使用PHP做系统级的数据分析/操作.
/home/d.php

1. 
   
2. 
   
3. <?php
   
4. #error_reporting(-1);
   
5. date_default_timezone_set("Asia/Shanghai");
   
6. $pp_count=1000;     //每次截包数量
   
7. while (true){    //遁环运行...
   
8.         $mysql=mysql_pconnect('localhost','fuck','you');
   
9.         if (!$mysql) {
   
10.                 die('Could not connect: ' . mysql_error());
    
11.         }
    
12.         mysql_select_db("ym",$mysql);
    
13.         mysql_query("SET character_set_connection='utf8', character_set_results='utf8', character_set_client=utf8",$mysql);
    
14. 
    
15.         //run
    
16.         $nnn=0;
    
17.         while ($nnn < 100) {  //双循环运行..因为时间长了.MYSQL连接就会断开.会出错
    
18.                 $nnn++;
    
19.                 $starttimer = time()+microtime();
    
20.                 $return="";$data=array();
    
21.                 @exec("tshark -c $pp_count -i eth1 -T fields -e ip.addr -e http.host -e http.server 2>/dev/null",$return);  //这个是截取数据包的关键..使用外部程序操作.
    
22.                 $data=implode("\n",$return);
    
23.                 $i="/(\d+\.\d+\.\d+\.\d+)\s+(\S+)/";
    
24.                 $m=array();
    
25.                 preg_match_all($i,$data,$m,2);
    
26.                 $m_count=count($m);
    
27.                 $p=array();
    
28.                 foreach ($m as $v){
    
29.                         $domain=c_d($v[2]);   //精简域名.....
    
30.                         if ($domain == 'no') continue;
    
31.                         $p[$domain]=$v[1];      
    
32.                 }
    
33.                 $p_count=count($p);
    
34.                 $new=$n2=0;
    
35.                 foreach ($p as $d => $ip){
    
36.                         if (check($ip)) continue; //跳过某些IP段的检查.
    
37.                         $sql="SELECT * FROM `domain` WHERE `d` = '$d' ";
    
38.                         $result=mysql_query($sql,$mysql);
    
39.                         if ($row=mysql_fetch_array($result)){
    
40.                                 $time=time()-strtotime($row['checktime']);
    
41.                                 if ($time < 1296000 ) {   //这个有点多余..未更改好.
    
42.                                         $sql="UPDATE `domain` SET `checktime` = now() WHERE `d` = '$d'";
    
43.                                         mysql_query($sql,$mysql);
    
44.                                         $n2++;
    
45.                                 }
    
46.                         }
    
47.                         else{
    
48.                                 $sql="INSERT INTO `domain` (`d` , `ip` ,`checktime`,`beianhao`) Values ( '$d','$ip',now(),'' )";
    
49.                                 mysql_query($sql,$mysql);
    
50.                                 $new++;
    
51.                         }
    
52.                 }
    
53.                 $stoptimer = time()+microtime();
    
54.                 $timer = round($stoptimer-$starttimer,2);
    
55.                 $result=mysql_query("SELECT * FROM  `domain`",$mysql);
    
56.                 $a_count=mysql_num_rows($result);
    
57.                 echo  date("H:i:s")." in $timer seconds.[ c: $a_count t : $m_count  p: $p_count u: $n2 a: $new ]\r\n";
    
58.         }
    
59.         mysql_close($mysql);
    
60.         echo "again!!\r\n";
    
61. }
    
62. 
    
63. function check ($ip){  //..IP.
    
64.         $ip_n=ip2long($ip);
    
65.         $ips[]="222.187.212.128/64";   //这些IP段不检查../后面是数量
    
66.         $ips[]="222.187.211.0/64";
    
67.         foreach ($ips as $v){
    
68.                 $vv=explode("/",$v);
    
69.                 $s=ip2long($vv[0]);
    
70.                 $e=$s+$vv[1];
    
71.                 if ($ip_n > $s && $ip_n <= $e ) return true;
    
72.         }
    
73.         return false;
    
74. }
    
75. 
    
76. 
    
77. function c_d($domain){   //自已写的精简域名...求更好的....
    
78.         $ds=explode(".",$domain);
    
79.         $n=count($ds)-1;
    
80.         if ($n>0){
    
81.                 if (strlen($ds[$n])==2){
    
82.                         if ($ds[$n] <>"cn" and $ds[$n] <>"ru" and $ds[$n] <>"tv" and $ds[$n] <>"hk" and $ds[$n] <>"us"
    
83.                         and $ds[$n] <>"cc" and $ds[$n] <>"cn" and $ds[$n] <>"tw" and $ds[$n] <>"la" ) return "no";
    
84.                         if ($ds[$n-1]=="com" or $ds[$n-1] == "net" or $ds[$n-1] == "org" or $ds[$n-1] == "gov" or strlen($ds[$n-1]) == 2){
    
85.                                 $d=$ds[$n-2].".".$ds[$n-1].".".$ds[$n];
    
86.                                 return $d;
    
87.                         }
    
88.                         $d=$ds[$n-1].".".$ds[$n];
    
89.                         return $d;
    
90.                 }
    
91.                 elseif (strlen($ds[$n])==3){
    
92.                         if ($ds[$n] <>"com" and $ds[$n] <>"net" and $ds[$n] <>"org" and $ds[$n] <>"gov" and $ds[$n] <>"edu" ) return "no";
    
93.                 }
    
94.                 elseif (strlen($ds[$n])==4){
    
95.                         if ($ds[$n] <>"info") return "no";
    
96.                 }
    
97.                 elseif (strlen($ds[$n]) < 2 or strlen($ds[$n]) > 3){
    
98.                         return "no";
    
99.                 }
    
100.                 $d=$ds[$n-1].".".$ds[$n];
     
101.                 return $d;
     
102.         }
     
103.         return "no";
     
104. }
     
105. ?>
     

复制代码

第三步   通过 SCREEN 在后台循环运行该PHP文件.

1. 
   
2. screen
   
3. cd /home/
   
4. php d.php
   

复制代码

然后你就可以看到这个SCREEN进程...在不停地检测域名....录入数据库...检测/录入...不停地跳动....
感觉爽不.


然后下一个贴...就要准备另一个程序...将数据库内的域名进行备案自动查询了..

继续 待续吧..



09-22 更新.
之前的程序是数据采集和分析.全在一个PHP程序里面操作.
在我的环境中...截取1000个数据包.并分析.一个循环需要2秒左右.

这个情况只能算是采样式采集...做不到完整数据采集的....
今天经过改进...
将采集和分析分开来操作.
采集使用LINUX的BASH循环来操作....
/home/cap.sh

1. 
   
2. while true
   
3. do
   
4.   tshark -c 30000 -i eth1 -n -T fields -e ip.addr -e http.host -e http.server > /dev/shm/data.tmp 2>/dev/null
   
5.   rm /dev/shm/run.dat -f
   
6.   mv /dev/shm/data.tmp /dev/shm/run.dat
   
7. done
   

复制代码

采集3W包..然后保存在data.tmp.
采集完成后..将data.tmp改名为run.dat(供PHP分析处理).
继续采集...循环处理....
然后PHP读取RUN.DAT进行处理(读取完成后...删除RUN.DAT.然后分析完成后.等 下一个RUN.DAT文件生成后再分析.....

使用新方法后..在我同样的环境下...每4秒左右生成一次RUN.DAT...

也就是4秒时间..就采集/分析了3W 个数据包...比之前的速度提高15倍.....


.
.
.

Bendy

BTW....使用tshark 会令服务器/tmp产生很多的临时文件..
建议在CRONTAB里面....做定时清理.
corntab -e
10 * * * * rm /tmp/ether* -f

Bendy

对了...监控机要将ETH1端口起用...

1. 
   
2. ip link set eth1 up
   

复制代码

鱼羊小子

支持你一个

fourstone

围观技术贴

xslxld

牛人,顶你

Origami

niu ren

森林

虽然看不懂，但是很深很深的样子