gydtep

屏蔽底层实现：K8s通过一系列抽象如Loadbalance Service, Ingress, CNI, CSI，帮助业务应用可以更好通过业务语义使用基础设施，无需关注底层实现差异。

gydtep

更快的计算机处理器,日益廉价的内存以及层出不穷的新数据格式,使得任意规模的企业都能用深度学习来做数据分析。

gydtep

但是对方却对我们自己遇到瓶颈不以为然，并不想帮助我们更进一步。更好的情况是我们知道自己不知道，有知道别人知道，这样就特别适合我们自己学习进步和成长。

gydtep

通常在 Elasticsearch 的监控层面，我们会选择去查看 kibana 的监控报表，但 kibana 在内存方面的监控指标通常都基于 JVM 本身，无法追溯到 lucene 层面。而 lucene 的文件使用的是操作系统的 page cache，如何监控 page cache，并将之映射到 Elasticsearch 的索引维度，便是本文着手解决的问题。

gydtep

本质上也是一种增益，这一转化也有益于提升模型对未见噪声的泛化能力，可以通过大量纯净语音的训练反向应对未见过的噪声达到降噪的目的，在保证可实时处理方面，首先更改了模型norm的方式，

gydtep

会在同事面前矮人三分。现在想起来当时很多同事很大胆，把自己封装的通信库直接在测试生产环境上线使用，据说那时候整个公司投入生产环境运行的 RPC 通信库就有 197 个之多。

gydtep

在这种多套方案组合的场景下，问题排查需要和多套系统打交道，若这些系统归属不同的团队，还需要和多个团队进行交互才能解决问题，整体的维护和使用代价非常巨大。因此我们希望能够使用一套系统去解决所有类型可观测性数据的采集、存储、分析的功能。

gydtep

时序类的查询一般QPS都较高（主要有很多告警规则），为了适应高QPS查询，需要把数据的聚合性做好
对于这类数据都会有专门的时序引擎来支撑，目前主流的时序引擎基本上都是用类似于LSM Tree的思想来实现，以适应高吞吐的写入和查询（Update、Delete操作很少）

gydtep

同时可观测性数据还有一些共性的特点，例如高吞吐写入（高流量、QPS，而且会有Burst）、超大规模查询特点、时间访问特性（冷热特性、访问局部性等）。

gydtep

就可以计算出每个部门的IT资源利用率，例如每台ECS的CPU、内存使用率。最终计算出每个部门/团队整体上使用IT资源的合理度，将这些信息总结成运营报表，推动资源使用合理度低的部门/团队去优化。