gydtep

对搜索引擎而言，各级缓存的命中率和查询效率密切相关。ES 的缓存主要由 JVM 堆内存，以及 lucene 所依赖的堆外内存两部分组成。考虑到大多数查询场景的多样性，ES 的 query cache 覆盖能力有限，因此 ES 的查询性能和 lucene 各类文件的缓存状况息息相关

gydtep

ES 进程的 JVM 堆内存主要包括以下几部分内容（不详细展开）
• Indexing Buffer：索引缓冲区，用于存储新索引的文档，当其达到阈值时，会触发 ES flush 将段落到磁盘上；

gydtep

Fielddata：用于 text 字段分词或排序时获取字段值，基于 lucene 的 segment 构建，伴随 segment 生命周期常驻在堆内存中。

gydtep

对于 lucene 而言，其使用的是堆外内存
• Page Cache：lucene 读写段文件时会依赖操作系统的 page cache 缓存，如果多次查询都涉及到读取某个段文件的同一部分内容，就直接使用 page cache 进行读取，无需再从磁盘获取数据。page cahce 由操作系统管理，淘汰策略类似LRU。

gydtep

lucene 文件的读取方式将影响磁盘 IO 调用，以及 page cache 中缓存的内容，常用的主要是如下两种类型：
• niofs：通过 NIO 的方式读取文件内容，基于 Java 提供的 FileChannel::read 方法读取数据，支持多线程读取同一个文件，按需读取，需要注意的是 niofs 模式下读取到的内容在系统层面也会进 page cache。

gydtep

传统降噪算法可以部分处理这种噪声，它的方法是：
1. 对时域信号做短时傅里叶变换，就得到了信号的频域表现形式，对幅度谱平方得到信号能量；

gydtep

再经过变换得到增益函数，一般取维纳增益，将计算得到的增益函数乘以带噪语音的频域形式 再经过反变换，就得到了增强后的语音的时域信号。

gydtep

数据集问题，rnnoise的训练数据集中噪声质量是不高的，噪声中含有较多人声部分，这在一定程度上会导致语音损伤大的问题

gydtep

调整网络的结构设计，减少参数量
模型可以自适应，在资源不充足的情况下，也可以输出一个还不错的结果；在资源充足时就做到最好

gydtep

离线数据采集主要包括从数据库中采集，如MySQL、Oracle、MongoDB等；从离线文件采集，如外部系统数据。每天凌晨会抽取前一天的数据（T+1），对于维度数据一般采用每次全量采集，对于业务数据，为了提高采集效率，同时也为了保住业务数据库的稳定性，采用每天增量采集，然后将T+1的数据合并成新的全量数据。