CURL 是一个利用URL语法规定来传输文件和数据的工具,支持很多协议,如HTTP、FTP、TELNET等。最爽的是,php也支持 CURL 库。使用PHP的CURL 库可以简单和有效地去抓网页。你只需要运行一个脚本,然后分析一下你所抓取的网页,然后就可以以程序的方式得到你想要的数据了。无论是你想从从一个链接上取部分数据,或是取一个xml文件并把其导入数据库,那怕就是简单的获取网页内容,CURL 是一个功能强大的PHP库。
①:初始化
curl_init()
②:设置属性
curl_setopt().有一长串CURL 参数可供设置,它们能指定URL请求的各个细节。
③:执行并获取结果
curl_exec()
④:释放句柄
curl_close()
①:GET方式实现
1 //初始化 2 $curl = curl_init(); 3 //设置抓取的url 4 curl_setopt($curl, CURLOPT_URL, 'http://www.baidu.com'); 5 //设置头文件的信息作为数据流输出 6 curl_setopt($curl, CURLOPT_HEADER, 1); 7 //设置获取的信息以文件流的形式返回,而不是直接输出。 8 curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); 9 //执行命令10 $data = curl_exec($curl);11 //关闭URL请求12 curl_close($curl);13 //显示获得的数据14 PRint_r($data);②:POST方式实现
1 //初始化 2 $curl = curl_init(); 3 //设置抓取的url 4 curl_setopt($curl, CURLOPT_URL, 'http://www.baidu.com'); 5 //设置头文件的信息作为数据流输出 6 curl_setopt($curl, CURLOPT_HEADER, 1); 7 //设置获取的信息以文件流的形式返回,而不是直接输出。 8 curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); 9 //设置post方式提交10 curl_setopt($curl, CURLOPT_POST, 1);11 //设置post数据12 $post_data = array(13 "username" => "coder",14 "passWord" => "12345"15 );16 curl_setopt($curl, CURLOPT_POSTFIELDS, $post_data);17 //执行命令18 $data = curl_exec($curl);19 //关闭URL请求20 curl_close($curl);21 //显示获得的数据22 print_r($data);③:如果获得的数据时json格式的,使用json_decode函数解释成数组。
$output_array = json_decode($data,true); //如果第二个参数为true,就转为数组的形式。如果不填就为对象的形式
如果使用json_decode($data)解析的话,将会得到object类型的数据。
封装的一个函数
1 //参数1:访问的URL,参数2:post数据(不填则为GET),参数3:提交的$cookies,参数4:是否返回$cookies 2 function curl_request($url,$post='',$cookie='', $returnCookie=0){ 3 $curl = curl_init(); 4 curl_setopt($curl, CURLOPT_URL, $url); 5 curl_setopt($curl, CURLOPT_USERAGENT, 'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; Trident/6.0)'); 6 curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1); 7 curl_setopt($curl, CURLOPT_AUTOREFERER, 1); 8 curl_setopt($curl, CURLOPT_REFERER, "http://XXX"); 9 if($post) {10 curl_setopt($curl, CURLOPT_POST, 1);11 curl_setopt($curl, CURLOPT_POSTFIELDS, http_build_query($post));12 }13 if($cookie) {14 curl_setopt($curl, CURLOPT_COOKIE, $cookie);15 }16 curl_setopt($curl, CURLOPT_HEADER, $returnCookie);17 curl_setopt($curl, CURLOPT_TIMEOUT, 10);18 curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);19 $data = curl_exec($curl);20 if (curl_errno($curl)) {21 return curl_error($curl);22 }23 curl_close($curl);24 if($returnCookie){25 list($header, $body) = explode("/r/n/r/n", $data, 2);26 preg_match_all("/Set/-Cookie:([^;]*);/", $header, $matches);27 $info['cookie'] = substr($matches[1][0], 1);28 $info['content'] = $body;29 return $info;30 }else{31 return $data;32 }33 }转自:http://www.cnblogs.com/CHEUNGKAMING/p/5717429.html
新闻热点
疑难解答
图片精选