[闲聊畅谈] 怎样监控百度爬虫？监控是否有用？ [复制链接]
查看:1319 | 回复:8

cooce · 发表于 2020-4-18 22:20:32

老是看到你们说百度爬虫来过了。
我是没搞清楚怎么知道的？
以前好像接触过，但实在记不得了。
宝塔免费版是没有的，各种统计也没有。
是不是某些cms后台带有这功能？

另外监控了能随时对哪些东东做调整吗？

wuzhicheng · 发表于 2020-4-18 22:25:15

新站在面板里下载日志查看呀。

logo设计专家 · 发表于 2020-4-18 22:30:14

传统CMS 是搞不定蜘蛛的必须自己二次开发

ioio · 发表于 2020-4-19 09:07:34

提示: 作者被禁止或删除内容自动屏蔽

cooce · 发表于 2020-4-19 10:57:13

wuzhicheng 发表于 2020-4-18 22:25
新站在面板里下载日志查看呀。

就是去分析日志？
linux 机器也有这个日志吗？

hl530 · 发表于 2020-4-19 10:59:59

爬虫没什么用的，天天爬不给排名，几个爬一次能给排名就行。不过资讯站天天爬还是好点，但还是要从内容和版面，及速度方面来下功夫，不是根据爬虫来下功夫的

AICE · 发表于 2020-4-19 13:07:26

服务器日志

cooce · 发表于 2020-4-19 13:09:23

AICE 发表于 2020-4-19 13:07
服务器日志

vps linux宝塔面板的日志怎么看呢？

AICE · 发表于 2020-4-19 13:10:54

cooce 发表于 2020-4-19 13:09
vps linux宝塔面板的日志怎么看呢？

在安全那边有日记