[技术交流] 心血来潮仿个站，发现file_get_contents函数抓取不了数据，求助…… [复制链接]
查看:2279 | 回复:21

ioio · 发表于 2022-8-16 08:52:33

提示: 作者被禁止或删除内容自动屏蔽

741111 · 发表于 2022-8-16 10:40:33

php版本用最新的吗

猫喝的果粒橙 · 发表于 2022-8-16 11:04:18

萧梦发表于 2022-8-16 08:45
用selenium吧，可以浏览的一般都能爬下来

没接触过，要研究下，谢谢！

猫喝的果粒橙 · 发表于 2022-8-16 11:05:16

741111 发表于 2022-8-16 10:40
php版本用最新的吗

5.4，和版本有关系？不是太久的版本应该还好吧。回去换最新的试试。

shen1521 · 发表于 2022-8-16 19:39:35

猫喝的果粒橙发表于 2022-8-15 22:16
加了，还是不行。

curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);

$cur换成你的$ch没有。

crazy · 发表于 2022-8-16 20:54:10

这个错误，通常是服务器端设置兼容多种SSL加密协议导致的，通常情况下，浏览器能自动识别到匹配的协议进行加密。但是碰到识别不了的，我也不知道咋办。最好就是能在服务器端把不需要的加密协议去掉。

猫喝的果粒橙 · 发表于 2022-8-16 22:39:07

shen1521 发表于 2022-8-16 19:39
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false); ...

改了。

猫喝的果粒橙 · 发表于 2022-8-16 22:39:41

crazy 发表于 2022-8-16 20:54
这个错误，通常是服务器端设置兼容多种SSL加密协议导致的，通常情况下，浏览器能自动识别到匹配的协议进行 ...

好吧，谢谢管理，第一次发现竟然还有这么难抓取的。

shen1521 · 发表于 2022-8-17 09:27:54

shen1521 发表于 2022-8-16 19:39
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false); ...

<?php
function file_get_content($url) {
$ch = curl_init();
$timeout = 30;
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HEADER,0);
curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36");
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
$file_contents = curl_exec($ch);
$file_contents = str_ireplace("!= 0", "== 0", $file_contents);
curl_close($ch);
return $file_contents;
}
echo file_get_content("https://twblg.dict.edu.tw/holodict_new/default.jsp");
?>

复制代码

猫喝的果粒橙 · 发表于 2022-8-17 12:45:43

shen1521 发表于 2022-8-17 09:27

万分感谢！！！上班不方便，晚上回去试下再来反馈。