这一次我们来了解一下美味的汤--BeautifulSoup,这将是我们以后经常使用的一个库,并且非常的好用。
BeautifuleSoup库的名字取自刘易斯·卡罗尔在《爱丽丝梦游仙境》里的同名诗歌。在故事中,这首歌是素甲鱼唱的。就像它在仙境中的说法一样,BeautifulSoup尝试化平淡为神奇。它通过定位HTML标签来格式化和组织复杂的网络信息,用简单易用的Python对象为我们展现XML结构信息。
由于BeautifulSoup库不是Python标准库,因此我们需要单独安装这个库,才能使用它。对于这个库的安装,我们这里秉着简单的原则,就直接利用pycharm这个IDLE进行库的自动下载和导入。
首先我们进入pycharm的主界面,单击file-〉settings-〉Project:untitled-〉Project Interpreter,如下图:
在上图中我们会看到一个绿色的加号,这时我们单击这个加号,会跳出如下的界面(pycharm在这个地方有时候很慢,会一直在这个界面刷新):
这时我们在搜索框中输入“bs4”,然后选择列表中的bs4,然后进行安装,如下图:
这样我们就完成了BeautifulSoup这个库的安装,下面我们就可以来使用它了。
关于这个库的官方文档解释的是很详细的,一定要看一看:点击打开链接
下面我就简单说一下这个库的一些方面。
首先呢,我们还是从一个例子开始我们的学习:
#coding:utf - 8from urllib.request import urlopenfrom bs4 import BeautifulSoup html = urlopen("http://tieba.baidu.com/")bsObj=BeautifulSoup(html,"lxml") #将html对象转化为BeautifulSoup对象print(bsObj.title) #输出这个网页中的标题 执
执行上面的程序,我们会得到的结果为:<title>百度贴吧——全球最大的中文社区</title>
首先我们来分析下bsObj=BeautifulSoup(html,"lxml")这句话对我们的html做了什么,在这句代码中,我们将html对象传入到BeautifulSoup中将它转化成BeautifulSoup对象,关于第二个参数lxml,可以到官方文档中看,解释得很详细,这里大家只要知道带上它就可以了,不需要管它。这样,我们就成功将html对象转化为了BeautifulSoup对象。
下面我们来了解下BeautifulSoup对象的结构,当我们将html转化后得到的结构为:
html-><html><head>....</head><body>.....</body></html>
---head-><head><title>百度贴吧--全球最大的中文社区<title></head>
新闻热点
疑难解答