[闲聊畅谈] 大家都要爬虫能送一只玩吗？ [复制链接]
查看:1279 | 回复:7

cooce · 发表于 2020-6-20 09:46:13

刚好1M机多
还是非北安那种。
送一只玩玩呗。

ioio · 发表于 2020-6-20 09:50:44

提示: 作者被禁止或删除内容自动屏蔽

ralok · 发表于 2020-6-20 10:54:58

我也想要一只

特产 · 发表于 2020-6-20 13:34:57

嫂子，用力点 · 发表于 2020-6-20 15:06:56

提示: 作者被禁止或删除内容自动屏蔽

coffee · 发表于 2020-6-20 18:02:07

倒，不是这么玩的。
我先说一下分布式爬虫设计：
首先有个数据中心服务器, 这里有数据库，api, 和队列处理功能。
所有的爬虫设计:
通过数据中心的api 去拿队列任务。
然后个个爬虫要自已去写, 比如: 电商数据采集. 这个爬虫需要做采集电商需要的数据。然扣拿到数据，提交到数据中心的api队列中. 数据中心把这些处理好的数据入库。
大体是这样的。分布式采集.
刚高集一些的要加上“代理池”

网上的开源的采集器，到时有很多了，比如火车头。
但是免费的，好像要做的事还比效多的。

大多数需要自已写。我以前做过一个，主要采亚马逊的。亚马逊采集频率高的话会有验证码。
当时用了几百个代理池，用了十多个小鸡来采。
一天大体能处理三四千万的数据量。

没有通用的爬虫，需要自已学习了。
建议用python 来去做，比效好学习。

太傅 · 发表于 2020-6-22 08:35:22

coffee 发表于 2020-6-20 18:02
倒，不是这么玩的。
我先说一下分布式爬虫设计：
首先有个数据中心服务器, 这里有数据库，api, 和队列处 ...

科普，受教

蓝色梦想 · 发表于 2020-6-23 07:46:31

1m机器只能采集文字

百独托管7500 紫田网络	超高转化播放器收cps[推荐]	速盾CDN 免实名免备防屏蔽	阿里云爆款特卖9.9元封顶	提升alexa、IP流量7Q5团队
【腾讯云】中小企福利专场	【腾讯云】多款产品1折起	高防随时退换好耶数据	小飞国外网赚带你月入万元	炎黄网络4H4G10M 99每月
香港带宽CN2/美国站群优惠	中客数据中心服务器租用	联盟系统移动广告平台中易	企业专场腾讯云服务器2.5折	九九数据工信部正规资质
腾讯云新用户大礼包代金券	高价收cpa注册量高价展示	【腾讯云】2核2G/9.93起	租服务器找45互联随时退换	阿里云短信服务验证秒达

[闲聊畅谈] 大家都要爬虫能送一只玩吗？ [复制链接]
查看:1279 | 回复:7

QQ绑定

落伍手机绑定

落伍微信绑定

落伍者

[闲聊畅谈] 大家都要爬虫能送一只玩吗？ [复制链接] 查看:1279 | 回复:7

QQ绑定

落伍手机绑定

落伍微信绑定

落伍者

[闲聊畅谈] 大家都要爬虫能送一只玩吗？ [复制链接]
查看:1279 | 回复:7