gydtep

每隔几年，IT 界就会出现新突破性的进展。回望整个计算机技术发展史，我们会发现“抽象、解耦、集成”的主题贯穿其中。

gydtep

当一个垂直领域足够复杂后，会出现对应的后端服务（BaaS），通过 API 的方式交付价值。

gydtep

系统通常要实时追踪请求执行时长，排队等待时长，单位时间请求数，应用初始化时长等指标。以感知应用负载为基础的“白盒“调度，

gydtep

也可以解释因为CPU使用已经是100%，zabbix-agent和根本不能正常运行，所以没有监控数据。

gydtep

有了“too many open files”的启发，计算打开文件数目lsof|wc -l，根据进程看看ll /proc/PID/fd文件描述符有没有可疑的打开文件、文件描述符。

gydtep

查看了最大连接数cat /proc/sys/fs/file-max是65535但是用lsof查到的连接数是10000多，完全没有达到连接数。

gydtep

网络攻击也排除，因为网络连接数没几个，流量也不变。

gydtep

查看进程数量，数量几百。列出来也看到都是熟悉的进程，可以先排除异常进程。

gydtep

为什么一个有问题，一个没问题呢？不同的只是有一台是共享nfs。难道是静态文件共享了，其他人读了，也算是本服务器打开的？

gydtep

我猛然去ECS2释放一下内存，果然，句柄数降下来。（这里大家一定有个疑问，为什么我直接想到内存缓存而不是目前打开的文件呢。