Python爬虫图片懒加载技术 selenium和PhantomJS解析

#!/usr/bin/env python# -*- coding:utf-8 -*-import requestsfrom lxml import etreeif __name__ == "__main__":   url = 'http://sc.chinaz.com/tupian/gudianmeinvtupian.html'   headers = {     'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',   }   #获取页面文本数据   response = requests.get(url=url,headers=headers)   response.encoding = 'utf-8'   page_text = response.text   #解析页面数据（获取页面中的图片链接）   #创建etree对象   tree = etree.HTML(page_text)   div_list = tree.xpath('//div[@id="container"]/div')   #解析获取图片地址和图片的名称   for div in div_list:     image_url = div.xpath('.//img/@src')     image_name = div.xpath('.//img/@alt')     print(image_url) #打印图片链接     print(image_name)#打印图片名称

#!/usr/bin/env python# -*- coding:utf-8 -*-import requestsfrom lxml import etreeif __name__ == "__main__":   url = 'http://sc.chinaz.com/tupian/gudianmeinvtupian.html'   headers = {     'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',   }   #获取页面文本数据   response = requests.get(url=url,headers=headers)   response.encoding = 'utf-8'   page_text = response.text   #解析页面数据（获取页面中的图片链接）   #创建etree对象   tree = etree.HTML(page_text)   div_list = tree.xpath('//div[@id="container"]/div')   #解析获取图片地址和图片的名称   for div in div_list:     image_url = div.xpath('.//img/@src'2) #src2伪属性     image_name = div.xpath('.//img/@alt')     print(image_url) #打印图片链接     print(image_name)#打印图片名称

from selenium import webdriverfrom time import sleep# 后面是你的浏览器驱动位置，记得前面加r'','r'是防止字符转义的driver = webdriver.Chrome(r'驱动程序路径')# 用get打开百度页面driver.get("http://www.baidu.com")# 查找页面的“设置”选项，并进行点击driver.find_elements_by_link_text('设置')[0].click()sleep(2)# # 打开设置后找到“搜索设置”选项，设置为每页显示50条driver.find_elements_by_link_text('搜索设置')[0].click()sleep(2)# 选中每页显示50条m = driver.find_element_by_id('nr')sleep(2)m.find_element_by_xpath('//*[@id="nr"]/option[3]').click()m.find_element_by_xpath('.//option[3]').click()sleep(2)# 点击保存设置driver.find_elements_by_class_name("prefpanelgo")[0].click()sleep(2)# 处理弹出的警告页面  确定accept() 和 取消dismiss()driver.switch_to_alert().accept()sleep(2)# 找到百度的输入框，并输入 美女driver.find_element_by_id('kw').send_keys('美女')sleep(2)# 点击搜索按钮driver.find_element_by_id('su').click()sleep(2)# 在打开的页面中找到“Selenium - 开源中国社区”，并打开这个页面driver.find_elements_by_link_text('美女_百度图片')[0].click()sleep(3)# 关闭浏览器driver.quit()

#导包from selenium import webdriver #创建浏览器对象，通过该对象可以操作浏览器browser = webdriver.Chrome('驱动路径')#使用浏览器发起指定请求browser.get(url)#使用下面的方法，查找指定的元素进行操作即可  find_element_by_id      根据id找节点  find_elements_by_name     根据name找  find_elements_by_xpath    根据xpath查找  find_elements_by_tag_name   根据标签名找  find_elements_by_class_name  根据class名字查找

from selenium import webdriverimport time# phantomjs路径path = r'PhantomJS驱动路径'browser = webdriver.PhantomJS(path)# 打开百度url = 'http://www.baidu.com/'browser.get(url)time.sleep(3)browser.save_screenshot(r'phantomjs/baidu.png')# 查找input输入框my_input = browser.find_element_by_id('kw')# 往框里面写文字my_input.send_keys('美女')time.sleep(3)#截屏browser.save_screenshot(r'phantomjs/meinv.png')# 查找搜索按钮button = browser.find_elements_by_class_name('s_btn')[0]button.click()time.sleep(3)browser.save_screenshot(r'phantomjs/show.png')time.sleep(3)browser.quit()

from selenium import webdriverfrom time import sleepimport timeif __name__ == '__main__':  url = 'https://movie.douban.com/typerank?type_name=%E6%81%90%E6%80%96&type=20&interval_id=100:90&action='  # 发起请求前，可以让url表示的页面动态加载出更多的数据  path = r'C:/Users/Administrator/Desktop/爬虫授课/day05/ziliao/phantomjs-2.1.1-windows/bin/phantomjs.exe'  # 创建无界面的浏览器对象  bro = webdriver.PhantomJS(path)  # 发起url请求  bro.get(url)  time.sleep(3)  # 截图  bro.save_screenshot('1.png')  # 执行js代码（让滚动条向下偏移n个像素（作用：动态加载了更多的电影信息））  js = 'document.body.scrollTop=2000'  bro.execute_script(js) # 该函数可以执行一组字符串形式的js代码  time.sleep(4)  bro.save_screenshot('2.png')  time.sleep(2)  # 使用爬虫程序爬去当前url中的内容  html_source = bro.page_source # 该属性可以获取当前浏览器的当前页的源码（html）  with open('./source.html', 'w', encoding='utf-8') as fp:    fp.write(html_source)  bro.quit()

from selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsimport time# 创建一个参数对象，用来控制chrome以无界面模式打开chrome_options = Options()chrome_options.add_argument('--headless')chrome_options.add_argument('--disable-gpu')# 驱动路径path = r'C:/Users/ZBLi/Desktop/1801/day05/ziliao/chromedriver.exe'# 创建浏览器对象browser = webdriver.Chrome(executable_path=path, chrome_options=chrome_options)# 上网url = 'http://www.baidu.com/'browser.get(url)time.sleep(3)browser.save_screenshot('baidu.png')browser.quit()