requests 利用 gzip 压缩优化大 XML 响应的处理方法
在处理大XML响应时，我遇到了问题。由于响应的大小可能达到数百万字节，因此将整个响应加载到内存中并交给XML解析器进行处理是不可能的。我正在使用lxml进行解析，并将`response.raw`作为参数传递给其`iterparse()`函数，这是在requests文档中描述的某个地方。
然而，我所调用的API并不十分好。因此，即使我明确要求不使用压缩数据，该API仍然可能返回`Content-Encoding: gzip`。此外，这些极其重复和冗长的XML文件的压缩比率非常好（10x以上），因此我希望能够利用压缩响应。
解决方案：
为了解决这个问题，我可以使用`functools.partial`来替换响应的`read`方法，或者将其包装在其他方式中，以便进行如下操作：
``` python
response.raw.read = functools.partial(response.raw.read, decode_content=True)
```
然后将`response.raw`传递给解析器。这个解决方案可以帮助我在处理大XML响应时更高效地利用gzip压缩。
我建议将这个解决方案添加到requests的文档中，例如在FAQ中，这样其他开发者也可以受益于这个优化方法。
这个方法可以显著提高处理大XML响应的效率，尤其是在处理压缩响应时，可以减少内存的使用，提高性能。希望这个解决方案对其他开发者也能有所帮助。如果有任何疑问或需要进一步的解释，请随时提出。 看看了，愿收录流量计厂家
页:
[1]