php使用curl和正则表达式抓取网页数据示例

2020-03-22 16:29:33

字体：大中小

来源：转载

供稿：网友

利用curl和html' target='_blank'>正则表达式做的一个针对磨铁中文网非vip章节的小说抓取器，支持输入小说ID下载小说。
依赖项：curl
可以简单的看下，里面用到了curl ,正则表达式，ajax等技术，适合新手看看。在本地测试，必须保证联网并且确保php开启curl的modeSpiderTools.class.php
复制代码代码如下:
?php
session_start();
//封装成类开启这些自动抓取文章
#header("Refresh:30;http://www.test.com:8080");
class SpiderTools{
//////////////////////////////////////////////////////////////////////////////////////////////////////////
/*传入文章ID 解析出文章标题*/
//////////////////////////////////////////////////////////////////////////////////////////////////////////
public function getBookNameById($aid){
//初始化curl
$ch= curl_init();
//url
$url='http://www.motie.com/book/'.$aid;
if(is_numeric($aid)){
//正则表达式匹配
$ru="/ h1/s "p-title/" /s* a/shref=/"//book///d+/" (.*)/s* //a /s* //h1
}
else{
// title 丧尸爆发之全家求生路_第一章丧尸爆发为吾友爱乐儿更新~_磨铁 /title
$ru="/ title (.*) //title
}
//设置选项，包括URL
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//不自动输出内容
curl_setopt($ch, CURLOPT_HEADER, 0);//不返回头部信息
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT_MS, 0);
//执行curl
$output = curl_exec($ch);
//错误提示
if(curl_exec($ch) === false){
die(curl_error($ch));
}
// 检查是否有错误发生
if(curl_errno($ch)){
echo 'Curl error: ' . curl_error($ch);
}
//释放curl句柄
curl_close($ch);
$arr=array();
preg_match_all($ru,$output,$arr);
return $arr[1][0];
}
//////////////////////////////////////////////////////////////////////////////////////////////////////////
/*传入文章ID 解析文章内容*/
//////////////////////////////////////////////////////////////////////////////////////////////////////////
public function getBookContextById($aid){
//开始解析文章
$ids=array();
$ids=explode("_",$aid);
$titleId=trim($ids[0]);
$aticleId=trim($ids[1]);
$ch= curl_init();
$ru="/ div "page-content/" [/s/S]* pre ondragstart=/"return false/" oncopy=/"return false;/" oncut=/"return false;/" oncontextmenu=/"return false/" "note/" id=/"html_content_/d*/" [/s/S]*(.*) img src=/"//ajax//chapter//$titleId//$aticleId/" "hidden/" // //pre /ui";
$url='http://www.motie.com/book/'.$aid;
//正则表达式匹配//设置选项，包括URL
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//不自动输出内容
curl_setopt($ch, CURLOPT_HEADER, 0);//不返回头部信息
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT_MS, 0);
//执行curl
$output = curl_exec($ch);
//错误提示
if(curl_exec($ch) === false){
die(curl_error($ch));
}
// 检查是否有错误发生
if(curl_errno($ch)){
echo 'Curl error: ' . curl_error($ch);
}
$arr=array();
$arr2=array();
preg_match_all($ru,$output,$arr);
curl_close($ch);
#var_dump($arr);
$s=$arr[0][0];
$s=substr($s,180);
$arr2=explode(" img",$s);
return trim($arr2[0]);
}//////////////////////////////////////////////////////////////////////////////////////////////////////////
/*静态方法 @生成小说文件可以直接调用 */
//////////////////////////////////////////////////////////////////////////////////////////////////////////
public static function createBookById($id){

if(!is_numeric($id)){echo " br/ INIT BEGIN START WRITE!";
$st=new self();
$cons=$st- getBookContextById($id);
$title=$st- getBookNameById($id);
$cons=trim($cons);
$t=explode(" ",$title);
//构造目录
$dir=array();
$dir=explode("_",$t[0]);
$wzdir=$dir[0];//书名称作为目录名称
$wzchapter=$dir[1]; //第几章
//创建目录
$wzdir2=iconv("UTF-8", "GBK", $wzdir);//目录编码注意这里保留对$wzdir字符串的引用，用来构造文件名，不能用此处，防止二次编码
if(!file_exists($wzdir2)){
mkdir($wzdir2); //创建目录
}
//构造文件名
$wztitle="./".$wzdir."/"."$t[0]".".txt";
//保证保存的文件名称不是乱码
$wztitle=iconv("UTF-8", "GBK", $wztitle);
$f=fopen($wztitle,"w+");
fwrite($f,$cons);
echo " font color='green' $wzdir /font ".$wzchapter." font color='red' 写入成功 /font
fclose($f);

}
else{
$ids=self::getBookIdsById($id);

//这里服务器可能会掉线，所以最好用session记录循环
#for($i=$_SESSION["$id"."_fid"];$i =count($ids);$_SESSION["$id"."_fid"]++,$i++){

#self::createBookById($id."_".$ids[$_SESSION["$id"."_fid"]++]);//构造id
#}

for($i=$_SESSION["$id"."_fid"];$i =count($ids);$_SESSION["$id"."_fid"]++,$i++){

self::createBookById($id."_".$ids[$i]);//构造id
}

#echo " hr/ hr/ br/ h1 写入工作全部完成 /h1
#echo $id."_".$ids[0]." br/
#var_dump($ids);

}
}
/*
获取小说的所有ID
@param $id 文章ID
@return array;
*/
public static function getBookIdsById($aid){
$ch= curl_init();
$url='http://www.motie.com/book/'.$aid."/chapter";
//注意这里的?可以获取最少匹配项
$ru='/[/s/S]*? li "/" createdate=/"/d{4}/-/d{2}/-/d{2} /d{2}:/d{2}:/d{2}/" [/s/S]*? a href=/"//book//'.$aid.'_(/d*?)/"/s{1} .*? //a .*?/u';//正则表达式匹配
//设置选项，包括URL
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//不自动输出内容
curl_setopt($ch, CURLOPT_HEADER, 0);//不返回头部信息
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT_MS, 0);
//执行curl
$output = curl_exec($ch);
// 检查是否有错误发生
if(curl_errno($ch)){
echo 'Curl error: ' . curl_error($ch);
}
//释放curl句柄
curl_close($ch);
$arr=array();
preg_match_all($ru,$output,$arr,PREG_PATTERN_ORDER);
return $arr[1];
}
}
?
getinfo.php
复制代码代码如下:
?php
session_start();
require_once("SpiderTools.class.php");
if($_REQUEST["bid"]){
if(is_numeric($_REQUEST["bid"])){
SpiderTools::createBookById(trim($_REQUEST["bid"]));
}
else{
echo " br/ 请输入正确的文章ID br/
}
}
?
index.html
复制代码代码如下:
html
head meta charset="utf-8"/ /head
title 下载小说啦 /title
body
h1 输入磨铁中文网你想看到的小说ID号就可以下载小说啦 /h1
form method="get" action="getinfo.php"
input type="text" id="myid" name="myid" value=""/
input type="button" value="生成小说" /
/form
div id="info"
/div !-----AJAX------
script language="javascript"
var xmlHttp;
function createbook()
{
xmlHttp=GetXmlHttpObject()
if (xmlHttp==null)
{
alert ("浏览器不支持ajax")
return
}
var bookid=document.getElementById("myid").value
var url="getinfo.php"
url=url+"?bid="+bookid;
url=url+"&sid="+Math.random()
xmlHttp.onreadystatechange=stateChanged
xmlHttp.open("GET",url,true)
xmlHttp.send(null)
}function stateChanged()
{
if(xmlHttp.readyState==1){document.getElementById("info").innerHTML="正在准备工作，请耐心点哦~^_^~ img src=/"img/1.gif/" / br/
}
if(xmlHttp.readyState==2){document.getElementById("info").innerHTML="正在联系服务器，这可能需要一点时间啦^ img src=/"img/2.gif/" / ^ br/
} if(xmlHttp.readyState==3){document.getElementById("info").innerHTML="正在解析数据 img src=/"img/3.gif/" / br/
} if (xmlHttp.readyState==4 || xmlHttp.readyState=="complete")
{

document.getElementById("info").innerHTML=xmlHttp.responseText;
//xmlHttp.abort();}
}function GetXmlHttpObject()
{
var xmlHttp=null;
try
{
// Firefox, Opera 8.0+, Safari
xmlHttp=new XMLHttpRequest();
}
catch (e)
{
//Internet Explorer
try
{
xmlHttp=new ActiveXObject("Msxml2.XMLHTTP");
}
catch (e)
{
xmlHttp=new ActiveXObject("Microsoft.XMLHTTP");
}
}
return xmlHttp;
}
/script
/body
/html
PHP教程

郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。

上一篇：PHP 下载文件时如何自动添加bom头及解释BOM头和去掉bom头的方法

下一篇：Laravel 4.2 中队列服务（queue）使用感受