百独托管7500 紫田网络超高转化播放器收cps[推荐]速盾CDN 免实名免备防屏蔽阿里云 爆款特卖9.9元封顶提升alexa、IP流量7Q5团队
【腾讯云】中小企福利专场【腾讯云】多款产品1折起高防 随时退换 好耶数据小飞国外网赚带你月入万元炎黄网络4H4G10M 99每月
香港带宽CN2/美国站群优惠中客数据中心 服务器租用联盟系统移动广告平台 中易企业专场腾讯云服务器2.5折九九数据 工信部正规资质
腾讯云新用户大礼包代金券高价收cpa注册量高价展示【腾讯云】2核2G/9.93起租服务器找45互联 随时退换阿里云 短信服务 验证秒达

[其它内容] 怎样使用Go语言+NET库搞定饿了么采集 [复制链接]
查看:154 | 回复:2

1477

主题

1656

帖子

9

积分

落伍者(一心一意)

Rank: 1

贡献
685
鲜花
0
注册时间
2016-6-22

落伍者落伍微信绑定落伍手机绑定

发表于 2023-11-2 15:52:08 | 显示全部楼层 |阅读模式 来自 中国江苏淮安
55555.webp.jpg
饿了么是一个集在线外卖、新零售、即时配送和餐饮供应链等业务的一个平台,也是我们日常中使用比较多的一个平台。每次点外卖的时候,那么多的商家,我们要比对价格、看评价,看看到底怎么点餐比较划算,这是一个Go语言的爬虫程序,所以今天,我就使用net库来实现对饿了么内容的采集,方便我们每次对所需要的服务进行对比。一起来看看吧!

```go

package main

import (

"fmt"

"io/ioutil"

"net/http"

"net/url"

"os"

"strings"

)

func main() {

// 创建一个URL对象来表示要爬取的网站

urlStr := "https://www.ele.me/"

url, _ := url.Parse(urlStr)

// 创建一个ProxyTransport对象来使用代理服务器

proxyURL, _ := url.Parse("http://www.duoip.cn:8000")

proxyTransport := &http.Transport{

Proxy: func(req *http.Request) (*url.URL, error) {

return proxyURL, nil

},

}

// 创建一个HttpClient对象来发送HTTP请求

client := &http.Client{

Transport: proxyTransport,

}

// 发送一个GET请求来获取网页的内容

resp, err := client.Get(urlStr)

if err != nil {

fmt.Println(err)

return

}

defer resp.Body.Close()

// 读取网页的内容

body, err := ioutil.ReadAll(resp.Body)

if err != nil {

fmt.Println(err)

return

}

// 将网页的内容打印出来

fmt.Println(string(body))

}

```

以上就是今天要给大家分享的内容,其实都非常简单,主要是代码的可用性上我进行了一些小的优化,大家在使用的时候一定不要生搬硬抄,结合自己实际的需求,进行修改后再用。希望能对大家在日常生活中起到一些帮助。
企业专线拨号VPS动态IP派克斯ADSL本地拨号,联系QQ174629754
回复

使用道具 举报

372

主题

1万

帖子

649

积分

落伍者(一心一意)

Rank: 1

贡献
2397
鲜花
0
注册时间
2020-6-17

落伍手机绑定落伍者

发表于 2023-11-2 16:10:09 | 显示全部楼层 来自 中国河南开封

看看了,愿收录[url=http://www.chinaqingtian.com/]流量计厂家[/url]
回复 支持 反对

使用道具 举报

552

主题

1277

帖子

15

积分

落伍者(一心一意)

Rank: 1

贡献
1417
鲜花
0
注册时间
2017-10-11

落伍手机绑定落伍者

发表于 2023-11-3 10:09:47 | 显示全部楼层 来自 中国重庆
感谢楼主分享


重庆污水处理设备[url]http://www.cqcfjd.com/[/url]
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

论坛客服/商务合作/投诉举报:2171544 (QQ)
落伍者创建于2001/03/14,本站内容均为会员发表,并不代表落伍立场!
拒绝任何人以任何形式在本论坛发表与中华人民共和国法律相抵触的言论!
落伍官方微信:2030286 邮箱:(djfsys@gmail.com|tech@im286.com)
© 2001-2014

浙公网安备 33060302000191号

浙ICP备11034705号 BBS专项电子公告通信管[2010]226号

  落伍法律顾问: ITlaw-庄毅雄

手机版|找回帐号|不能发帖?|Archiver|落伍者

GMT+8, 2024-11-26 23:23 , Processed in 0.066552 second(s), 34 queries , Gzip On.

返回顶部