浅谈 php 采用curl 函数库获取网页 cookie 和 带着cookie去访问 网页的方法!!!!

简介: 由于近段时间帮朋友开发一个能够查询正方教务系统的微信公众平台号。有所收获。这里总结下个人经验。   开讲前,先吐槽一下新浪云服务器,一个程序里的   同一个函数  在PC测试可以正常运行,在它那里就会挂的现象。

由于近段时间帮朋友开发一个能够查询正方教务系统的微信公众平台号。有所收获。这里总结下个人经验。

 

开讲前,先吐槽一下新浪云服务器,一个程序里的   同一个函数  在PC测试可以正常运行,在它那里就会挂的现象。

 

老样子,我将在代码里注释清楚。使用下面的函数,将会获得两种形式的 cookie,一种保存在文件中,一种直接以变量的形式返回,

 

经验提示: 有时候,在不同的代码运行环境中,带着文件cookie 去访问会成功,而变量却失败,有时候却想法。不过,

 

目前,这两种方法总有一种会成功。

 

 1 function get_cookie($url_,$params_,$referer_){
 2         
 3         if($url_==null){echo "get_cookie_url_null";exit;}
 4         if($params_==null){echo "get_params_null";exit;}
 5         if($referer_==null){echo "get_referer-null";exit;}
 6         $this_header = array("content-type: application/x-www-form-urlencoded; charset=UTF-8");//访问链接时要发送的头信息
 7 
 8         $ch = curl_init($url_);//这里是初始化一个访问对话,并且传入url,这要个必须有
 9         
10         //curl_setopt就是设置一些选项为以后发起请求服务的
11         
12         
13         curl_setopt($ch,CURLOPT_HTTPHEADER,$this_header);//一个用来设置HTTP头字段的数组。使用如下的形式的数组进行设置: array('Content-type: text/plain', 'Content-length: 100')
14         curl_setopt($ch, CURLOPT_HEADER,1);//如果你想把一个头包含在输出中,设置这个选项为一个非零值,我这里是要输出,所以为 1
15         
16         curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);//将 curl_exec()获取的信息以文件流的形式返回,而不是直接输出。设置为0是直接输出
17         
18         curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);//设置跟踪页面的跳转,有时候你打开一个链接,在它内部又会跳到另外一个,就是这样理解
19     
20         curl_setopt($ch,CURLOPT_POST,1);//开启post数据的功能,这个是为了在访问链接的同时向网页发送数据,一般数urlencode码
21         
22         curl_setopt($ch,CURLOPT_POSTFIELDS,$params_); //把你要提交的数据放这
23         
24         curl_setopt($ch, CURLOPT_COOKIEJAR, 'cookie.txt');//获取的cookie 保存到指定的 文件路径,我这里是相对路径,可以是$变量
25         
26         //curl_setopt($ch, CURLOPT_COOKIEFILE, 'cookie.txt');//要发送的cookie文件,注意这里是文件,还一个是变量形式发送
27         
28         //curl_setopt($curl, CURLOPT_COOKIE, $this->cookies);//例如这句就是设置以变量的形式发送cookie,注意,这里的cookie变量是要先获取的,见下面获取方式
29         
30         curl_setopt ($ch, CURLOPT_REFERER,$referer_); //在HTTP请求中包含一个'referer'头的字符串。告诉服务器我是从哪个页面链接过来的,服务器籍此可以获得一些信息用于处理。
31         
32         $content=curl_exec($ch);     //重点来了,上面的众多设置都是为了这个,进行url访问,带着上面的所有设置
33         
34         if(curl_errno($ch)){
35             echo 'Curl error: '.curl_error($ch);exit(); //这里是设置个错误信息的反馈
36          }    
37             
38         if($content==false){
39             echo "get_content_null";exit();
40         }
41         preg_match('/Set-Cookie:(.*);/iU',$content,$str); //这里采用正则匹配来获取cookie并且保存它到变量$str里,这就是为什么上面可以发送cookie变量的原因
42         
43         $cookie = $str[1]; //获得COOKIE(SESSIONID)
44         
45         curl_close($ch);//关闭会话
46         
47         return     $cookie;//返回cookie  
48 }

 

下面这个是如何利用上面的cookie  去访问网页,去post数据,去get页面代码的函数。

 

 1 function post($url,$post_data,$location = 0,$reffer = null,$origin = null,$host = null){
 2             
 3             $post_data = is_array($post_data)?http_build_query($post_data):$post_data;
 4             //产生一个urlencode之后的请求字符串,因为我们post,传送给网页的数据都是经过处理,一般是urlencode编码后才发送的
 5             
 6             $header = array( //头部信息,上面的函数已说明
 7                 'Accept:*/*',
 8                 'Accept-Charset:text/html,application/xhtml+xml,application/xml;q=0.7,*;q=0.3',
 9                 'Accept-Encoding:gzip,deflate,sdch',
10                 'Accept-Language:zh-CN,zh;q=0.8',
11                 'Connection:keep-alive',
12                 'Content-Type:application/x-www-form-urlencoded',
13                 //'CLIENT-IP:'.$ip, 
14                 //'X-FORWARDED-FOR:'.$ip,
15             );
16             
17             //下面的都是头部信息的设置,请根据他们的变量名字,对应上面函数所说明
18             if($host){
19                 $header = array_merge_recursive($header,array("Host:".$host));
20             }
21             else if($this->option["host"]){
22                 $header = array_merge_recursive($header,array("Host:".$this->option["host"]));
23             }
24             if($origin){
25                 $header = array_merge_recursive($header,array("Origin:".$origin));
26             }
27             else{
28                 $header = array_merge_recursive($header,array("Origin:".$url));
29             }
30             if($reffer){
31                 $header = array_merge_recursive($header,array("Referer:".$reffer));
32             }
33             else{
34                 $header = array_merge_recursive($header,array("Referer:".$url));
35             }
36             
37             $curl = curl_init();  //这里并没有带参数初始化
38             
39             curl_setopt($curl, CURLOPT_URL, $url);//这里传入url
40             
41             curl_setopt($curl, CURLOPT_HTTPHEADER, $header);
42             
43             curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, 0);//对认证证书来源的检查,不开启次功能
44             
45             curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, 1);//从证书中检测 SSL 加密算法
46             
47             curl_setopt($curl, CURLOPT_USERAGENT, $this->useragent);
48             //模拟用户使用的浏览器,自己设置,我的是"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0"
49             curl_setopt($curl, CURLOPT_FOLLOWLOCATION, $location);
50             
51             curl_setopt($curl, CURLOPT_AUTOREFERER, 1);//自动设置referer
52             
53             curl_setopt($curl, CURLOPT_POST, 1);//开启post
54             
55             curl_setopt($curl, CURLOPT_ENCODING, "gzip" );
56             //HTTP请求头中"Accept-Encoding: "的值。支持的编码有"identity","deflate"和"gzip"。如果为空字符串"",请求头会发送所有支持的编码类型。
57             //我上面设置的是*/*
58             
59             curl_setopt($curl, CURLOPT_POSTFIELDS, $post_data);//要传送的数据
60             
61             //curl_setopt($curl, CURLOPT_COOKIE, $this->cookies);//以变量形式发送cookie,我这里没用它,文件保险点
62             
63             curl_setopt($curl, CURLOPT_COOKIEJAR, 'cookie.txt');    //存cookie的文件名,
64                 
65             curl_setopt($curl, CURLOPT_COOKIEFILE, 'cookie.txt');  //发送
66             
67             curl_setopt($curl, CURLOPT_TIMEOUT, 30);//设置超时限制,防止死循环
68             
69             curl_setopt($curl, CURLOPT_HEADER, 1);
70             
71             curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
72             
73             $tmpInfo = curl_exec($curl);
74             if (curl_errno($curl)) {
75                 echo  'Curl error: ' . curl_error ( $curl );exit();
76             }
77             
78             curl_close($curl);
79             list($header, $body) = explode("\r\n\r\n", $tmpInfo, 2);//分割出网页源代码的头和bode
80             $tmpInfo = $this->auto_charest($tmpInfo);//转码,防止乱码,自定义函数
81             return array("header"=>$header,"body"=>$body,"content"=>$tmpInfo);
82         }

 

上面是post,下面是get,两者差不多,差别在于,get是没有post,传送数据给放前访问的网页的,仅仅只是获取源代码。

 

 1 function get($url,$location = 1,$origin = null,$reffer = null,$host = null){
 2             //$ip = $this->randip();
 3             if($url==null){
 4                 echo "get-url-null";exit();
 5             }
 6             $header = array(
 7                 'Accept:*/*',
 8                 'Accept-Charset:GBK,utf-8;q=0.7,*;q=0.3',
 9                 'Accept-Encoding:gzip,deflate,sdch',
10                 'Accept-Language:zh-CN,zh;q=0.8',
11                 'Connection:keep-alive',
12                 
13                 //'CLIENT-IP:'.$ip, 
14                 //'X-FORWARDED-FOR:'.$ip,
15             );
16             if($host){
17                 $header = array_merge_recursive($header,array("Host:".$host));
18             }
19             else if($this->option["host"]){
20                 $header = array_merge_recursive($header,array("Host:".$this->option["host"]));
21             }
22             if($origin){
23                 $header = array_merge_recursive($header,array("Origin:".$origin));
24             }
25             else{
26                 $header = array_merge_recursive($header,array("Origin:".$url));
27             }
28             if($reffer){
29                 $header = array_merge_recursive($header,array("Referer:".$reffer));
30             }
31             else{
32                 $header = array_merge_recursive($header,array("Referer:".$url));
33             }
34             
35             $curl = curl_init();
36             curl_setopt($curl, CURLOPT_URL, $url);
37             curl_setopt($curl, CURLOPT_HTTPHEADER, $header);
38             curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, 0);
39             curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, 1);
40             curl_setopt($curl, CURLOPT_USERAGENT, $this->useragent);
41             curl_setopt($curl, CURLOPT_FOLLOWLOCATION, $location);
42             curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);
43             curl_setopt($curl, CURLOPT_AUTOREFERER, 1);
44             curl_setopt($curl, CURLOPT_ENCODING, "gzip" );
45             curl_setopt($curl, CURLOPT_HTTPGET, 1);
46             //curl_setopt($curl, CURLOPT_COOKIE, $this->cookies);
47             curl_setopt($curl, CURLOPT_COOKIEJAR, 'cookie.txt');
48             curl_setopt($curl, CURLOPT_COOKIEFILE, 'cookie.txt');
49             curl_setopt($curl, CURLOPT_TIMEOUT, 30);
50             curl_setopt($curl, CURLOPT_HEADER, 1);
51             curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
52             $tmpInfo = curl_exec($curl);
53             
54             if (curl_errno($curl)) {
55                 echo  'Curl error: '.curl_error ($curl);exit();
56             }
57             curl_close($curl);
58             list($header, $body) = explode("\r\n\r\n", $tmpInfo, 2);
59             $tmpInfo = $this->auto_charest($tmpInfo);
60             return array("header"=>$header,"body"=>$body,"content"=>$tmpInfo);
61         }

 

OK,如果觉得对你有点用的,请默默点一下顶。(右下角)

 

如果您认为这篇文章还不错或者有所收获,您可以通过扫描一下下面的支付宝二维码 打赏我一杯咖啡【物质支持】,也可以点击右下角的【推荐】按钮【精神支持】,因为这两种支持都是我继续写作,分享的最大动力


img_12e3f54d4d0f70f0eb14f20548e3d781.png
目录
相关文章
|
1月前
|
PHP
php使用curl新增微信临时素材(上传图片)
php使用curl新增微信临时素材(上传图片)
76 4
|
1月前
|
JSON PHP 数据格式
蓝易云 - PHP用CURL发送Content-type为application/json的POST请求方法
在这段代码中,我们首先创建了一个包含我们要发送的数据的数组,并使用 `json_encode`函数将其转换为JSON格式。然后,我们初始化了一个cURL会话,并设置了一些选项,包括POST请求方法、要发送的数据、返回结果和HTTP头部信息。最后,我们执行了cURL请求并关闭了会话。
46 2
|
1月前
|
运维 JavaScript Serverless
Serverless 应用引擎产品使用合集之php工程已经部署,可以正常访问数据库,静态资源样式无法正常加载,要怎么配置
阿里云Serverless 应用引擎(SAE)提供了完整的微服务应用生命周期管理能力,包括应用部署、服务治理、开发运维、资源管理等功能,并通过扩展功能支持多环境管理、API Gateway、事件驱动等高级应用场景,帮助企业快速构建、部署、运维和扩展微服务架构,实现Serverless化的应用部署与运维模式。以下是对SAE产品使用合集的概述,包括应用管理、服务治理、开发运维、资源管理等方面。
Serverless 应用引擎产品使用合集之php工程已经部署,可以正常访问数据库,静态资源样式无法正常加载,要怎么配置
|
1月前
|
存储 安全 关系型数据库
安全开发-PHP应用&留言板功能&超全局变量&数据库操作&第三方插件引用&后台模块&Session&Cookie&Token&身份验证&唯一性
安全开发-PHP应用&留言板功能&超全局变量&数据库操作&第三方插件引用&后台模块&Session&Cookie&Token&身份验证&唯一性
|
1月前
|
Web App开发 API PHP
PHP封装的不错的一个Curl方法
This is a PHP function named `teacher_curl` that wraps around the cURL library for making HTTP requests. The function initializes a cURL session, sets various options such as disabling SSL verification, sets headers, handles POST data
66 0
|
1月前
|
网络协议 Linux API
php curl执行太慢解决
网站访问快速,但API接口由curl_exec调用时遭遇显著延迟。问题根源在于DNS配置不当。切换至常用DNS,如114.114.114.114,立即提升了接口响应速度。
58 0
|
2月前
|
测试技术
使用 Playwright 复用 Cookie:简化自动化测试的高效方法
Playwright 提供的 Cookie 复用功能允许在不同测试用例间共享会话状态,提高测试效率。通过 `context.set_cookies()` 方法设置共享 Cookie 数据,确保会话在多个测试中保持一致。优点包括节省时间、维持稳定会话,但需注意可能增加测试用例间的依赖。使用此功能可优化自动化测试流程。
84 1
|
2月前
|
存储 缓存 安全
【PHP开发专栏】PHP Cookie与Session管理
【4月更文挑战第30天】本文介绍了PHP中的Cookie和Session管理。Cookie是服务器发送至客户端的数据,用于维持会话状态,可使用`setcookie()`设置和`$_COOKIE`访问。Session数据存于服务器,更安全且能存储更多数据,通过`session_start()`启动,`$_SESSION`数组操作。根据需求选择Cookie(跨会话共享)或Session(单会话存储)。实战中常组合使用,如Cookie记住登录状态,Session处理购物车。理解两者原理和应用场景能提升Web开发技能。
|
2月前
|
监控 前端开发 安全
PHP脚本:实现实时监控电脑屏幕并生成网页截图
在当今数字化时代,实时监控和数据收集变得越来越重要。有时候,我们需要监视某些活动,例如员工的工作情况、儿童的网络活动等等。在这篇文章中,我们将探讨如何使用PHP脚本实现实时监控电脑屏幕,并将监控到的数据自动提交到网站。
183 2
|
2月前
|
PHP
php curl获取cookie
php curl获取cookie
26 0