怎么利用PHP抓取百度阅读

抓取方法如下:首先在浏览器里打开阅读页面，查看源代码后发现小说的内容并不是直接写在页面里的，也就是说小说的内容是通过异步加载而来的。

于是将chrome的开发者工具切到network一栏，刷新阅读页面，主要关注的是XHR和script两个分类下。

经过排查，发现在script分类下有个jsonp请求比较像是小说内容，请求的地址是

http://wenku.baidu.com/content/49422a3769eae009581becba?m=8ed1dedb240b11bf0731336eff95093f&type=json&cn=1&_=1&t=1423309200&callback=wenku7

返回的是一个jsonp字符串，然后我发现，如果把地址里面的callback=wenku7去掉，返回的就是一个json字符串，这样解析起来就方便不少，可以直接在php里面转换成数组。

再来分析一下返回数据的结构，返回的json字符串之后是一个树状的结构，每个节点都有一个t属性和c属性，t属性用来指明这个节点的标签，比如h2 div等等，c属性就是内容了，但也有两种可能，一个是字符串，另一个是数组，数组的每个元素都是一个节点。

这种结构最好解析了，用一个递归就搞定,最终代码如下：

1. <?php 
2.  
3. classBaiduYuedu { 
4.  
5.  protected$bookId; 
6.  
7.  protected$bookToken; 
8.  
9.  protected$cookie; 
10.  
11.  protected$result; 
12.  
13.  publicfunction__construct($bookId,$bookToken,$cookie){ 
14.  
15.   $this->bookId =$bookId; 
16.  
17.   $this->bookToken =$bookToken; 
18.  
19.   $this->cookie =$cookie; 
20.  
21.  } 
22.  
23.  publicstaticfunctionparseNode($node){ 
24.  
25.   $str='' 
26.  
27.   if(is_string($node['c'])){ 
28.  
29.    $str.=$node['c']; 
30.  
31.   }elseif(is_array($node['c'])){ 
32.  
33.    foreach($node['c']as$d){ 
34.  
35.     $str.= self::parseNode($d); 
36.  
37.    } 
38.  
39.   } 
40.  
41.   switch($node['t']){ 
42.  
43.    case'h2': 
44.  
45.     $str.="/n/n"; 
46.  
47.     break; 
48.  
49.    case'br': 
50.  
51.    case'div': 
52.  
53.    case'p': 
54.  
55.     $str.="/n"; 
56.  
57.     break; 
58.  
59.    case'img': 
60.  
61.    case'span': 
62.  
63.     break; 
64.  
65.    case'obj': 
66.  
67.     $tmp='('. self::parseNode($node['data'][0]) .')' 
68.  
69.     $str.=str_replace("/n",'',$tmp); 
70.  
71.     break; 
72.  
73.    default: 
74.  
75.     trigger_error('Unkown type:'.$node['t'], E_USER_WARNING); 
76.  
77.     break; 
78.  
79.   } 
80.  
81.   return$str; 
82.  
83.  } 
84.  
85.  publicfunctionget($page= 1){ 
86.  
87.   echo"getting page {$page}.../n"; 
88.  
89.   $ch= curl_init(); 
90.  
91.   $url= sprintf('http://wenku.baidu.com/content/%s/?m=%s&type=json&cn=%d',$this->bookId,$this->token,$page); 
92.  
93.   curl_setopt_array($ch,array( 
94.  
95.    CURLOPT_URL   =>$url, 
96.  
97.    CURLOPT_RETURNTRANSFER => 1, 
98.  
99.    CURLOPT_HEADER   => 0, 
100.  
101.    CURLOPT_HTTPHEADER  =>array('Cookie: '.$this->cookie) 
102.  
103.   )); 
104.  
105.   $ret= json_decode(curl_exec($ch), true); 
106.  
107.   curl_close($ch); 
108.  
109.   $str='' 
110.  
111.   if(!emptyempty($ret)){ 
112.  
113.    $str.= self::parseNode($ret); 
114.  
115.    $str.=$this->get($page+ 1); 
116.  
117.   } 
118.  
119.   return$str; 
120.  
121.  } 
122.  
123.  publicfunctionstart(){ 
124.  
125.   $this->result =$this->get(); 
126.  
127.  } 
128.  
129.  publicfunctiongetResult(){ 
130.  
131.   return$this->result; 
132.  
133.  } 
134.  
135.  publicfunctionsaveTo($path){ 
136.  
137.   if(emptyempty($this->result)){ 
138.  
139.    trigger_error('Result is empty', E_USER_ERROR); 
140.  
141.    return; 
142.  
143.   } 
144.  
145.   file_put_contents($path,$this->result); 
146.  
147.   echo"save to {$path}/n"; 
148.  
149.  } 
150.  
151. } 
152. //Vevb.com 
153. //使用示例 
154.  
155. $yuedu=newBaiduYuedu(�a3769eae009581becba',Ǝed1dedb240b11bf0731336eff95093f','你的百度域cookie'); 
156.  
157. $yuedu->start(); 
158.  
159. $yuedu->saveTo('result.txt'); 

这个类前两个参数可以从小说的介绍页面获得，第一个参数bookId就是url里ebook后面跟着的字符串，第二个参数bookToken在页面源代码搜索bdjsonUrl，m参数后面的那个字符串就是。

注：如果不传入百度cookie或者百度cookie无效，则只能抓取免费阅读部分，要抓完整的内容必须保证cookie可以正常使用。

总结：以上就是这篇文章的全部内容了，希望本文的内容对大家学习或者使用PHP能有一定的帮助，如果有疑问大家可以留言交流。