westlife73

昨天一个小哥问我，能不能用Go语言和net库编写一个采集喜马拉雅视频的采集程序，因为网站上有太多他需要的学习资源，所以来找我帮忙。我大概看了下网站策略，这个爬虫写起来不是特别难，现在就给大家简单分享一下。

```go

package main

import (

"fmt"

"io/ioutil"

"net/http"

"net/url"

"strings"

)

func main() {

// 创建请求头

reqHeaders := http.Header{}

reqHeaders.Set("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3")

// 创建一个代理服务器的URL对象

proxyURL, _ := url.Parse("http://" + "www.duoip.cn/get_proxy" + ":8000")

// 创建一个http客户端

client := &http.Client{

Transport: &http.Transport{

Proxy: http.ProxyURL(proxyURL),

},

}

// 发送GET请求到[url]https://www.ximalaya.com/[/url]的首页

resp, err := client.Get("https://www.ximalaya.com/")

if err != nil {

fmt.Println("发送GET请求失败: ", err)

return

}

defer resp.Body.Close()

// 读取响应体

body, err := ioutil.ReadAll(resp.Body)

if err != nil {

fmt.Println("读取响应体失败: ", err)

return

}

// 解析响应体内容

parsedBody := strings.Split(string(body), "

videoLink = strings.Trim(videoLink, "\"")

// 发送GET请求到视频链接

resp, err := client.Get(videoLink)

if err != nil {

fmt.Println("发送GET请求失败: ", err)

return

}

defer resp.Body.Close()

// 读取响应体

videoBody, err := ioutil.ReadAll(resp.Body)

if err != nil {

fmt.Println("读取响应体失败: ", err)

return

}

// 输出视频链接和视频内容

fmt.Println("视频链接: ", videoLink)

fmt.Println("视频内容: ", string(videoBody))

}

}

}

```

现在给大家简单讲解一下，以上代码使用了Go语言的net/http库发送HTTP请求，使用了requests库的代理功能。程序首先会发送GET请求喜马拉雅的首页，然后解析响应体内容，提取出所有的免费视频链接，然后发送GET请求到每个视频链接，获取视频内容，并输出视频链接和视频内容。这个需要我们注意的是，我写的这个程序只是一个基础的爬虫程序，没有做任何错误处理和异常处理，实际使用时需要根据你自己的情况进行适当的修改和优化。希望能对大家在编写相关爬虫程序的过程中有所启发。

blkj123

感谢楼主分享


重庆污水处理设备[url]http://www.cqcfjd.com/[/url]