百独托管7500 紫田网络超高转化播放器收cps[推荐]速盾CDN 免实名免备防屏蔽阿里云 爆款特卖9.9元封顶提升alexa、IP流量7Q5团队
【腾讯云】中小企福利专场【腾讯云】多款产品1折起高防 随时退换 好耶数据小飞国外网赚带你月入万元炎黄网络4H4G10M 99每月
香港带宽CN2/美国站群优惠中客数据中心 服务器租用联盟系统移动广告平台 中易企业专场腾讯云服务器2.5折九九数据 工信部正规资质
腾讯云新用户大礼包代金券高价收cpa注册量高价展示【腾讯云】2核2G/9.93起租服务器找45互联 随时退换阿里云 短信服务 验证秒达

[其它内容] 如何通过HWebkit库配合Haskell语言采集链家图片 [复制链接]
查看:167 | 回复:2

1477

主题

1656

帖子

9

积分

落伍者(一心一意)

Rank: 1

贡献
685
鲜花
0
注册时间
2016-6-22

落伍者落伍微信绑定落伍手机绑定

发表于 2023-11-2 15:50:50 | 显示全部楼层 |阅读模式 来自 中国江苏淮安
33333.jpg
链家是一个专业提供二手房源、楼盘等信息的网站,需要二手房的朋友,链家可是个首选的资源平台。今天我们将使用HWebkit库编写一个爬虫程序,然后使用Haskell语言来采集链家平台的相关图片,快来学习一下吧。

```haskell

import Network.HTTP.Webkit

-- 定义代理主机和端口

proxyHost :: String

proxyHost = "www.duoip.cn"

proxyPort :: Int

proxyPort = 8000

-- 定义要爬取的URL

url :: String

url = "https://www.lianjia.com/"

-- 定义爬取函数

crawl :: IO ()

crawl = do

-- 创建一个Webkit实例

let client = webkitNew proxyHost proxyPort

-- 访问要爬取的URL

let response = webkitBrowse client url

-- 获取页面的HTML内容

let html = webkitPageHTML response

-- 提取图片的URL

let imgUrls = extractImgUrls html

-- 打印图片的URL

print imgUrls

-- 定义提取图片URL的函数

extractImgUrls :: String -> [String]

extractImgUrls html =

-- 使用正则表达式提取所有的标签

let imgTags = filter isImgTag $ split (== ">") html

-- 使用正则表达式提取标签中的src属性

let srcs = map extractSrc imgTags

-- 去除重复的src属性

let uniqueSrcs = nub srcs

-- 返回所有src属性

return uniqueSrcs

-- 定义检查是否为标签的函数

isImgTag :: String -> Bool

isImgTag tag =

-- 使用正则表达式检查标签是否为标签

let tags = ["<img", "

-- 去除引号和空格

let src = unwords $ words src

return src

```

以上代码中,首先代理主机和端口信息必不可少,还有就是要爬取的URL。然后,我们定义了一个爬取函数,该函数首先创建一个Webkit实例,访问要爬取的URL,获取页面的HTML内容,提取图片的URL,并打印出来。在提取图片URL的函数中,我们首先使用正则表达式提取所有的标签,然后使用正则表达式提取标签中的src属性,去除重复的src属性,最后返回所有src属性。

在检查是否为标签的函数和提取标签中的src属性的函数中,我们使用了正则表达式来匹配和提取字符串。这些函数使我们能够从HTML内容中提取出我们需要的信息,即图片的URL。内容其实不难,主要是通过代码的内容能帮到大家才是最重要的。
企业专线拨号VPS动态IP派克斯ADSL本地拨号,联系QQ174629754
回复

使用道具 举报

372

主题

1万

帖子

649

积分

落伍者(一心一意)

Rank: 1

贡献
2397
鲜花
0
注册时间
2020-6-17

落伍手机绑定落伍者

发表于 2023-11-2 16:10:27 | 显示全部楼层 来自 中国河南开封

看看了,愿收录[url=http://www.chinaqingtian.com/]流量计厂家[/url]
回复 支持 反对

使用道具 举报

552

主题

1277

帖子

15

积分

落伍者(一心一意)

Rank: 1

贡献
1417
鲜花
0
注册时间
2017-10-11

落伍手机绑定落伍者

发表于 2023-11-3 10:09:18 | 显示全部楼层 来自 中国重庆
感谢楼主分享


重庆污水处理设备[url]http://www.cqcfjd.com/[/url]
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

论坛客服/商务合作/投诉举报:2171544 (QQ)
落伍者创建于2001/03/14,本站内容均为会员发表,并不代表落伍立场!
拒绝任何人以任何形式在本论坛发表与中华人民共和国法律相抵触的言论!
落伍官方微信:2030286 邮箱:(djfsys@gmail.com|tech@im286.com)
© 2001-2014

浙公网安备 33060302000191号

浙ICP备11034705号 BBS专项电子公告通信管[2010]226号

  落伍法律顾问: ITlaw-庄毅雄

手机版|找回帐号|不能发帖?|Archiver|落伍者

GMT+8, 2024-11-27 00:21 , Processed in 0.055164 second(s), 35 queries , Gzip On.

返回顶部