百独托管7500 紫田网络超高转化播放器收cps[推荐]速盾CDN 免实名免备防屏蔽阿里云 爆款特卖9.9元封顶提升alexa、IP流量7Q5团队
【腾讯云】中小企福利专场【腾讯云】多款产品1折起高防 随时退换 好耶数据小飞国外网赚带你月入万元炎黄网络4H4G10M 99每月
香港带宽CN2/美国站群优惠中客数据中心 服务器租用联盟系统移动广告平台 中易企业专场腾讯云服务器2.5折九九数据 工信部正规资质
腾讯云新用户大礼包代金券高价收cpa注册量高价展示【腾讯云】2核2G/9.93起租服务器找45互联 随时退换阿里云 短信服务 验证秒达

[其它内容] Selenium实现苏宁类目页的采集 [复制链接]
查看:149 | 回复:0

1477

主题

1656

帖子

9

积分

落伍者(一心一意)

Rank: 1

贡献
685
鲜花
0
注册时间
2016-6-22

落伍者落伍微信绑定落伍手机绑定

发表于 2023-11-10 15:12:01 | 显示全部楼层 |阅读模式 来自 中国江苏淮安
华科云商丑图.jpg
​​今天再给大家看一个Selenium爬虫程序,主要是用于采集苏宁类目的,之前分享过一个,不过网友发现好像有点问题,不过今天这个我是亲自测试过的,很流畅很稳定,一起来看看吧。

```csharp

using OpenQA.Selenium;

using OpenQA.Selenium.Chrome;

using System;

using System.Collections.Generic;

using System.Linq;

using System.Text;

using System.Threading.Tasks;

namespace CrawlerSuning

{

class Program

{

static void Main(string[] args)

{

// 设置Chrome浏览器的驱动程序路径

ChromeDriverService service = ChromeDriverService.CreateDefaultService();

service.Port = 8000; // 使用[url]www.duoip.cn[/url]的代理服务器,端口号为8000

service.AddArgument("--proxy-server=duoip.cn:8000");

IWebDriver driver = new ChromeDriver(service);

// 打开网页

driver.Navigate().GoToUrl("https://www.suning.com/");

// 获取网页源代码

string sourceCode = driver.PageSource;

// 关闭浏览器

driver.Quit();

// 输出网页源代码

Console.WriteLine(sourceCode);

}

}

}

```

代码解释:

1. 首先,我们引入了必要的命名空间,包括OpenQA.Selenium、OpenQA.Selenium.Chrome、System、System.Collections.Generic、System.Linq、System.Text和System.Threading.Tasks。

2. 在Main方法中,我们设置了Chrome浏览器的驱动程序路径。我们使用ChromeDriverService创建一个默认的服务,并设置其端口号为8000,以使用[url]www.duoip.cn[/url]的代理服务器。我们还添加了"–proxy-server=http://www.duoip.cn:8000"这个参数,以告诉浏览器使用代理服务器。

3. 然后,我们创建了一个新的ChromeDriver实例,并使用服务来启动浏览器。

4. 接着,我们使用浏览器的Navigate方法打开网页。

5. 然后,我们使用PageSource属性获取网页的源代码。

6. 最后,我们关闭浏览器,并输出网页的源代码。​​​​
企业专线拨号VPS动态IP派克斯ADSL本地拨号,联系QQ174629754
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

论坛客服/商务合作/投诉举报:2171544 (QQ)
落伍者创建于2001/03/14,本站内容均为会员发表,并不代表落伍立场!
拒绝任何人以任何形式在本论坛发表与中华人民共和国法律相抵触的言论!
落伍官方微信:2030286 邮箱:(djfsys@gmail.com|tech@im286.com)
© 2001-2014

浙公网安备 33060302000191号

浙ICP备11034705号 BBS专项电子公告通信管[2010]226号

  落伍法律顾问: ITlaw-庄毅雄

手机版|找回帐号|不能发帖?|Archiver|落伍者

GMT+8, 2024-11-26 21:22 , Processed in 0.053273 second(s), 34 queries , Gzip On.

返回顶部