[国内信息] 最新阿里云优惠活动：企业级高性能服务器2折起 [复制链接]
查看:112541 | 回复:3089

gydtep · 发表于 2020-7-27 09:52:38

本来第一次发现这种问题的时候就要追查原因了，看了一下zabbix监控图像其中断了十分钟，包括网络、内存、CPU、硬盘、IO等监控数据。

gydtep · 发表于 2020-7-27 10:41:12

匆忙之中又看了一下系统各日志，因为太匆忙，没有总结，没有找到什么有价值的东西。

gydtep · 发表于 2020-7-27 12:22:46

统计tcp连接数，看看有没有DDOS攻击。netstat -anp |grep tcp |wc -l 。用iftop-i eth1看看通讯。同时用tail -n 1200 /var/log/messages查看内核日志。

gydtep · 发表于 2020-7-27 14:51:26

用htop看到资源使用最大是，搜索引擎下我写的一个判断脚本xunsearch.sh。脚本里面很简单，判断索引和搜索服务缺一个就全部重启。

gydtep · 发表于 2020-7-27 16:33:34

cat了一下，打开文件数是66080，果然超了！内核日志就以这个为标准。

gydtep · 发表于 2020-7-27 20:20:57

ocker容器的bug，那也不可能的，每个都是我亲自写脚本，亲自编译，亲自构建的，关键是我关掉了docker容器和引擎都没有很大改善。

gydtep · 发表于 2020-7-28 09:40:37

用htop看到资源使用最大是，搜索引擎下我写的一个判断脚本xunsearch.sh。

gydtep · 发表于 2020-7-28 10:33:06

查看了最大连接数cat /proc/sys/fs/file-max是65535但是用lsof查到的连接数是10000多，完全没有达到连接数。

gydtep · 发表于 2020-7-28 11:33:24

不过这个现象有点奇怪，ECS2和ECS1在一样的机房一样的配置一样的网络环境，一样的操作系统，一样的服务，一样的容器，

gydtep · 发表于 2020-7-28 13:33:20

我们架构上面的图片应该是归nginx读取，难道是linux的内存机制让它缓存了。