百独托管7500 紫田网络超高转化播放器收cps[推荐]速盾CDN 免实名免备防屏蔽阿里云 爆款特卖9.9元封顶提升alexa、IP流量7Q5团队
【腾讯云】中小企福利专场【腾讯云】多款产品1折起高防 随时退换 好耶数据小飞国外网赚带你月入万元炎黄网络4H4G10M 99每月
香港带宽CN2/美国站群优惠中客数据中心 服务器租用联盟系统移动广告平台 中易企业专场腾讯云服务器2.5折九九数据 工信部正规资质
腾讯云新用户大礼包代金券高价收cpa注册量高价展示【腾讯云】2核2G/9.93起租服务器找45互联 随时退换阿里云 短信服务 验证秒达

[其它内容] 如何利用Haskell语言实现booking云地接酒店数据采集 [复制链接]
查看:185 | 回复:2

1477

主题

1656

帖子

9

积分

落伍者(一心一意)

Rank: 1

贡献
685
鲜花
0
注册时间
2016-6-22

落伍者落伍微信绑定落伍手机绑定

发表于 2023-11-13 15:30:39 | 显示全部楼层 |阅读模式 来自 中国江苏淮安
华科云商丑图.jpg
应粉丝要求,需要使用Haskell语言编写一个采集Booking和云地接的程序,我大概看了一下,稍微有些难度,不过通过一些优化和转换,已经搞定,下面就给大家展示一下详细代码。

```haskell

{-# LANGUAGE OverloadedStrings #-}

import Network.HTTP.Client

import Text.XML.HXT.Core

-- 代理信息

proxyHost = "duoip.cn" proxyPort = 8000

-- 请求函数

request :: MonadIO m => ProxyInfo -> String -> m String

request proxy (uri ++ query) = do

let proxyURL = "http://" ++ proxyHost ++ ":" ++ show proxyPort ++ uri

let req = parseURI uri

let proxy = Proxy { proxyHost = proxyHost, proxyPort = proxyPort }

res <- liftIO $ curlPost req proxyURL

return (takeWhile (/= '\n') (T.pack (BS.unpack res)))

-- 解析HTML函数

parseHTML :: MonadIO m => String -> m [(String, String)]

parseHTML html = do

doc <- parseHTMLDoc html

let nodes = findClass "hotel-name" doc // findClass "hotel-address" doc

return $ mapMaybe (\node -> (getAttrValue "class" node, getInnerXML node)) nodes

-- 主函数

main :: IO ()

main = do

let proxy = Proxy { proxyHost = proxyHost, proxyPort = proxyPort }

html <- request proxy "https://booking.com/hotels-gb-lon-1.xml"

let hotels = parseHTML html

putStrLn $ "Found " ++ show (length hotels) ++ " hotels:"

for_ hotels $ \(name, address) -> putStrLn $ " - " ++ name ++ ": " ++ address

```

这个程序首先定义了一个`request`函数,它接受一个代理信息和一个URL,然后使用`curlPost`函数进行POST请求。然后定义了一个`parseHTML`函数,它接受一个HTML字符串,然后使用`parseHTMLDoc`函数解析HTML文档,然后查找所有类名为"hotel-name"和"hotel-address"的节点,并返回它们的名称和地址。

最后,`main`函数首先获取代理信息,然后使用`request`函数获取Booking的酒店数据,然后使用`parseHTML`函数解析HTML数据,然后打印出找到的酒店数量和信息。

注意:这个程序只是一个示例,实际的爬虫程序需要根据具体的需求进行修改和扩展。
企业专线拨号VPS动态IP派克斯ADSL本地拨号,联系QQ174629754
回复

使用道具 举报

1294

主题

3360

帖子

107

积分

落伍者(一心一意)

Rank: 1

贡献
401
鲜花
0
注册时间
2022-1-11

落伍微信绑定落伍者

发表于 2023-11-14 09:01:31 | 显示全部楼层 来自 中国浙江杭州
赞赞赞
卷板机        [url]https://jbj.jc35.com/[/url]
四柱液压机        [url]https://yyj.jc35.com/[/url]
折弯机        [url]https://zwj.jc35.com/[/url]
全球资源网        [url]https://www.qqzyuan.com/[/url]
机械剪板机         [url]https://www.jc35.com/shop/jxjbj_548.html[/url]
回复 支持 反对

使用道具 举报

552

主题

1277

帖子

15

积分

落伍者(一心一意)

Rank: 1

贡献
1417
鲜花
0
注册时间
2017-10-11

落伍手机绑定落伍者

发表于 2023-11-14 10:06:42 | 显示全部楼层 来自 中国重庆
感谢楼主分享


重庆污水处理设备[url]http://www.cqcfjd.com/[/url]
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

论坛客服/商务合作/投诉举报:2171544 (QQ)
落伍者创建于2001/03/14,本站内容均为会员发表,并不代表落伍立场!
拒绝任何人以任何形式在本论坛发表与中华人民共和国法律相抵触的言论!
落伍官方微信:2030286 邮箱:(djfsys@gmail.com|tech@im286.com)
© 2001-2014

浙公网安备 33060302000191号

浙ICP备11034705号 BBS专项电子公告通信管[2010]226号

  落伍法律顾问: ITlaw-庄毅雄

手机版|找回帐号|不能发帖?|Archiver|落伍者

GMT+8, 2024-11-26 22:20 , Processed in 0.058151 second(s), 34 queries , Gzip On.

返回顶部