westlife73

Python是一种常用的程序语言，今天我们就用Python和requests库结合，来写一个采集豆瓣短评的程序，非常的简单，一起来学学吧。

```python
import requests
from bs4 import BeautifulSoup

# 设置代理
proxy = f'http://{proxy_host}:{proxy_port}'
headers = {
   'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get('https://book.douban.com/top250', headers=headers, proxies=proxy)

# 解析HTML
soup = BeautifulSoup(response.text, 'html.parser')
reviews = soup.find_all('span', class_='short')

# 打印短评
for review in reviews:
   print(review.text)
```

每一步的解释如下：

1. 导入需要的库（requests和BeautifulSoup）。
2. 设置代理（proxy_host和proxy_port）。
3. 使用requests库的get方法，向豆瓣图书top250页面发送GET请求，同时设置headers和proxies。
4. 使用BeautifulSoup库解析返回的HTML。
5. 使用find_all方法，找到所有class为'short'的span标签，这些标签包含短评信息。
6. 使用for循环，打印出每个短评。​​​​

blkj123

感谢楼主分享


重庆污水处理设备[url]http://www.cqcfjd.com/[/url]

青天仪表

看看了，愿收录[url=http://www.chinaqingtian.com/]流量计厂家[/url]