开发者社区> 问答> 正文

使用PHP CURL函数采集gzip编码网页报错?报错

在做采集功能,使用PHP CURL函数,因为目标页面采用了gzip编码,只能使用如下代码:

function curl_get_contents($url,$t_url,$compression){

    $ch = curl_init($url);
    $t_url = $t_url ? $t_url : "http://".$_SERVER['HTTP_HOST'].$_SERVER['REQUEST_URI'];
    curl_setopt($ch, CURLOPT_REFERER, $t_url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    if($compression!='') {
        curl_setopt($ch, CURLOPT_ENCODING, $compression);
    }

    $str = curl_exec($ch);
    echo curl_error($ch);//打印错误
    curl_close($ch);

    return $str;
}

采集网站地址时会报如下错误:

Error while processing content unencoding. invalid stored block lengths

备注,访问网站首页时候正常访问,列表页和内容页报此段代码,查了半天无果。

各位大佬是否遇到过这样的问题,应该怎么解决?麻烦给小弟支招。


展开
收起
爱吃鱼的程序员 2020-06-22 17:38:13 900 0
1 条回答
写回答
取消 提交回答
  • https://developer.aliyun.com/profile/5yerqm5bn5yqg?spm=a2c6h.12873639.0.0.6eae304abcjaIB

    如果真的是页面zip压缩之后的问题

    curl_setopt($ch,CURLOPT_ENCODING,'gzip');

    回复 @liuhuyydy:那怎么不把这个去掉,尝试采集一下,有可能周一有首页压缩了,内页没有压缩呢。或者只有静态文件压缩了,动态文件都没有压缩回复 @小小程序员:哈哈,没有问你curl_setopt怎么用?我是说我的代码里已经这样写了,而且报错了,所以才问问你有没有遇到过类似的问题。回复 @liuhuyydy:curl_setopt怎么用,你还问我函数中是这么用的,网站首页可以正常采集,可是列表页和内容页面都会报上面的错误。
    2020-06-22 17:38:29
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
阿里云栖开发者沙龙PHP技术专场-深入浅出网络编程与swoole内核-吴镇宇 立即下载
PHP安全开发:从白帽角度做安全 立即下载
PHP 2017.北京 全球开发者大会——高可用的PHP 立即下载