[国内信息] 阿里云官网1888元代金券免费领取啦！ [复制链接]
查看:76004 | 回复:2293

gydtep · 发表于 2019-3-20 15:12:21

相信对于不少爬虫小白还是相当友好的，但个人认为使用场景有限，

gydtep · 发表于 2019-3-20 16:03:31

笔者猜测只是使用了一些虚拟化的技术来让实现租户资源权限隔离。

gydtep · 发表于 2019-3-20 16:36:26

而且最近也提供了基于scrapy框架的云爬虫开发环境，

gydtep · 发表于 2019-3-20 17:47:15

而八爪鱼更像是在提供一个工具，面向B端客户，

gydtep · 发表于 2019-3-20 18:13:37

还是使用简单粗暴的方式，解决的只是规模化和人力成本问题，

gydtep · 发表于 2019-3-20 20:05:09

爬虫相关技术延伸与拓展

gydtep · 发表于 2019-3-20 21:22:37

selenium功不可没

gydtep · 发表于 2019-3-21 11:50:39

如此繁琐麻烦，比如微信数据采集，

gydtep · 发表于 2019-3-21 12:57:50

采集系统需要有快速的可编程能力的界面，

gydtep · 发表于 2019-3-21 13:48:18

比如oss对象存储做离线分析，rds存储做实时分析等。