百独托管7500 紫田网络超高转化播放器收cps[推荐]速盾CDN 免实名免备防屏蔽阿里云 爆款特卖9.9元封顶提升alexa、IP流量7Q5团队
【腾讯云】中小企福利专场【腾讯云】多款产品1折起高防 随时退换 好耶数据小飞国外网赚带你月入万元炎黄网络4H4G10M 99每月
香港带宽CN2/美国站群优惠中客数据中心 服务器租用联盟系统移动广告平台 中易企业专场腾讯云服务器2.5折九九数据 工信部正规资质
腾讯云新用户大礼包代金券高价收cpa注册量高价展示【腾讯云】2核2G/9.93起租服务器找45互联 随时退换阿里云 短信服务 验证秒达

[其它内容] 如何利用cheerio库采集携程视频 [复制链接]
查看:128 | 回复:0

1477

主题

1656

帖子

9

积分

落伍者(一心一意)

Rank: 1

贡献
685
鲜花
0
注册时间
2016-6-22

落伍者落伍微信绑定落伍手机绑定

发表于 2023-11-1 15:53:19 | 显示全部楼层 |阅读模式 来自 中国江苏淮安
22222.webp.jpg
家好,前几天有人问我,能不能用cheerio库编写一个专门采集携程相关视频的程序,今天它来了。下面的代码简单移动,而且都有非常清晰的中文解释,以方便大家学习,一起来看看吧。

```javascript

const cheerio = require('cheerio');

const axios = require('axios');

// 设置代理服务器信息

const proxyHost = 'www.duoip.cn';

const proxyPort = 8000;

// 使用axios模块发送GET请求,并设置代理服务器信息

axios.get('https://www.ctrip.com/', {

https: {

agent: new https.Agent({

rejectUnauthorized: false,

proxy: {

host: proxyHost,

port: proxyPort

}

})

}

})

.then(response => {

// 使用cheerio库解析返回的HTML内容

const $ = cheerio.load(response.data);

// 获取视频链接

const videoUrl = $('video').attr('src');

// 使用axios模块发送GET请求,下载视频文件

axios.get(videoUrl)

.then(response => {

// 将下载的文件保存到当前目录下

fs.writeFileSync('video.mp4', response.data);

console.log('下载成功');

})

.catch(error => {

console.log('下载失败', error);

});

})

.catch(error => {

console.log('请求失败', error);

});

```

这段代码首先使用axios模块发送一个GET请求,获取携程网站的HTML内容。然后,使用cheerio库解析返回的HTML内容,获取视频链接。接着,使用axios模块发送一个GET请求,下载视频文件,并将其保存到当前目录下。如果在任何步骤中发生错误,代码将捕获错误并打印错误信息。请注意,这段代码需要在支持Node.js的环境中运行。此外,由于网站可能使用了其他的安全措施,这段代码可能无法成功采集到过多的视频文件。你可以根据需要修改代码,例如添加错误处理代码,或者使用其他方法来绕过网站的屏蔽。
企业专线拨号VPS动态IP派克斯ADSL本地拨号,联系QQ174629754
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

论坛客服/商务合作/投诉举报:2171544 (QQ)
落伍者创建于2001/03/14,本站内容均为会员发表,并不代表落伍立场!
拒绝任何人以任何形式在本论坛发表与中华人民共和国法律相抵触的言论!
落伍官方微信:2030286 邮箱:(djfsys@gmail.com|tech@im286.com)
© 2001-2014

浙公网安备 33060302000191号

浙ICP备11034705号 BBS专项电子公告通信管[2010]226号

  落伍法律顾问: ITlaw-庄毅雄

手机版|找回帐号|不能发帖?|Archiver|落伍者

GMT+8, 2024-11-27 00:23 , Processed in 0.058706 second(s), 34 queries , Gzip On.

返回顶部