百独托管7500 紫田网络超高转化播放器收cps[推荐]速盾CDN 免实名免备防屏蔽阿里云 爆款特卖9.9元封顶提升alexa、IP流量7Q5团队
【腾讯云】中小企福利专场【腾讯云】多款产品1折起高防 随时退换 好耶数据小飞国外网赚带你月入万元炎黄网络4H4G10M 99每月
香港带宽CN2/美国站群优惠中客数据中心 服务器租用联盟系统移动广告平台 中易企业专场腾讯云服务器2.5折九九数据 工信部正规资质
腾讯云新用户大礼包代金券高价收cpa注册量高价展示【腾讯云】2核2G/9.93起租服务器找45互联 随时退换阿里云 短信服务 验证秒达

[技术交流] 想做一个功能,会php或者nodejs 的帮忙看看。 [复制链接]
查看:3792 | 回复:23

203

主题

2639

帖子

3962

积分

落伍者(两全齐美)

Rank: 2

贡献
1953
鲜花
12
注册时间
2008-11-8

QQ绑定落伍手机绑定落伍者

发表于 2020-8-5 18:12:36 | 显示全部楼层 来自 中国
你们真会玩。
当你发现自己的才华撑不起野心时,就请安静下来学习吧!
回复 支持 反对

使用道具 举报

80

主题

605

帖子

1万

积分

落伍者(四季发财)

Rank: 4

贡献
70
鲜花
38
注册时间
2013-2-26

落伍手机绑定

发表于 2020-8-5 18:57:03 | 显示全部楼层 来自 中国山东菏泽
ajax 不行么?
看!这里的韭菜最多…割了一茬又一茬!
回复 支持 反对

使用道具 举报

277

主题

3211

帖子

4846

积分

落伍者(两全齐美)

Rank: 2

贡献
1867
鲜花
7
注册时间
2010-2-3
发表于 2020-8-5 19:23:52 | 显示全部楼层 来自 中国湖南湘西土家族苗族自治州
多大的数据库?啥搜索引擎?
http://www.baidu.com
回复 支持 反对

使用道具 举报

9742

主题

5万

帖子

7845

积分

落伍者(三羊开泰)

Rank: 3Rank: 3

贡献
3987
鲜花
65
注册时间
2007-12-29

落伍手机绑定

发表于 2020-8-5 21:12:55 | 显示全部楼层 来自 中国湖南怀化
期待分享
免费扫高权重域名:加落伍创业干货群52385364
数字创业资质办理:天津盛世创举
回复

使用道具 举报

98

主题

4124

帖子

3863

积分

落伍者(两全齐美)

Rank: 2

贡献
175
鲜花
16
注册时间
2015-3-12
发表于 2020-8-5 21:49:24 来自落伍手机版 | 显示全部楼层 来自 中国浙江
大胆的在预算后边 加一个0,都没人肯做。肯做的,你也不会满意
回复 支持 1 反对 0

使用道具 举报

2

主题

389

帖子

1014

积分

落伍者(两全齐美)

Rank: 2

贡献
25
鲜花
18
注册时间
2010-6-6
发表于 2020-8-6 07:43:47 | 显示全部楼层 来自 中国
想法挺好,只是不容易。 从技术角度,难点主要有二个:


1、想抓取搜索引擎的内容,数量少了可能没什么问题,数量多了,必定会被屏蔽,稍微有点技术力量的网站,都能检测出是人还是机器人在访问。

2、想把各家文章中的其中一段,重组为一篇新文章。就算实现了第一步,拿到了各家网站的HTML内容,想过滤出有效的内容,恐怕也没那么容易。各家网站,网页格式都不一样,有的甚至是JS加载的,想拿到有效内容,还要整理得有模有样,这个恐怕连搜索引擎本身,都未必能做得完美。


有人说,你大胆加个0,都没人能搞定。 我想说,你大胆加个万字,也不一定成
回复 支持 1 反对 0

使用道具 举报

头像被屏蔽

919

主题

5669

帖子

4737

积分

禁言

贡献
1238
鲜花
14
注册时间
2008-1-24

落伍手机绑定

发表于 2020-8-6 08:30:20 | 显示全部楼层 来自 中国福建宁德
提示: 作者被禁止或删除 内容自动屏蔽
回复 支持 反对

使用道具 举报

122

主题

4754

帖子

8396

积分

落伍者(三羊开泰)

自定义头衔

Rank: 3Rank: 3

贡献
1670
鲜花
7
注册时间
2003-2-15

落伍手机绑定

 楼主| 发表于 2020-8-6 09:29:40 | 显示全部楼层 来自 中国上海
看来感兴趣,其实这个功能市面上有人已经做出来了,并且还是有好几家了,有一些专门做伪原创和洗稿的平台都有这个能力了。当然思路不一样效果肯定也不一样。
我自己也做了,奈何水平有限,上面提到的功能实现了80%,思路也都有。本来是想用php做完整了,但朋友提醒如果nodejs去做可能性能和实现方式会更好。
这个功能怎么说呢,说难也难但关键点说破了,你就会发现其实也没那么深奥。
看来只能自己磨了,等一段时间我把成品发出来吧!
回复 支持 反对

使用道具 举报

落伍网友
落伍网友  发表于 2020-8-6 09:32:55 来自 中国广东汕头
你也是写程序的,怎么会认为这个价钱能搞定这个功能呢?
回复 支持 反对

使用道具 举报

2

主题

389

帖子

1014

积分

落伍者(两全齐美)

Rank: 2

贡献
25
鲜花
18
注册时间
2010-6-6
发表于 2020-8-6 09:34:39 | 显示全部楼层 来自 中国
倾城 发表于 2020-8-6 09:29
看来感兴趣,其实这个功能市面上有人已经做出来了,并且还是有好几家了,有一些专门做伪原创和洗稿的平台都 ...

我还实现了呢

我是抓取 淘 宝 商品列表,挺容易吧,可抓个三五页还可以,再多,就得验证。如果超过20页,就会直接屏蔽,说是 V P N ,然后换IP都不管用。


如果是小规模应用,也许还行,想大规模这样玩,是不容易的
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

论坛客服/商务合作/投诉举报:2171544 (QQ)
落伍者创建于2001/03/14,本站内容均为会员发表,并不代表落伍立场!
拒绝任何人以任何形式在本论坛发表与中华人民共和国法律相抵触的言论!
落伍官方微信:2030286 邮箱:(djfsys@gmail.com|tech@im286.com)
© 2001-2014

浙公网安备 33060302000191号

浙ICP备11034705号 BBS专项电子公告通信管[2010]226号

  落伍法律顾问: ITlaw-庄毅雄

手机版|找回帐号|不能发帖?|Archiver|落伍者

GMT+8, 2024-11-28 02:38 , Processed in 0.062436 second(s), 25 queries , Gzip On.

返回顶部