Python之Scrapy爬虫框架安装及简单使用详解

题记：早已听闻python爬虫框架的大名。近些天学习了下其中的Scrapy爬虫框架，将自己理解的跟大家分享。有表述不当之处，望大神们斧正。

一、初窥Scrapy

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

其最初是为了页面抓取(更确切来说,网络抓取)所设计的， 也可以应用在获取API所返回的数据(例如Amazon Associates Web Services) 或者通用的网络爬虫。

本文档将通过介绍Scrapy背后的概念使您对其工作原理有所了解， 并确定Scrapy是否是您所需要的。

当您准备好开始您的项目后，您可以参考入门教程。

二、Scrapy安装介绍

Scrapy框架运行平台及相关辅助工具

Python2.7（Python最新版3.5，这里选择了2.7版本） Python Package:pipandsetuptools. 现在pip依赖setuptools，如果未安装，则会自动安装setuptools。 lxml. 大多数Linux发行版自带了lxml。如果缺失，请查看http://lxml.de/installation.html OpenSSL. 除了Windows(请查看平台安装指南)之外的系统都已经提供。

您可以使用pip来安装Scrapy(推荐使用pip来安装Python package).

pip install Scrapy

Windows下安装流程：

1、安装Python 2.7之后，您需要修改PATH环境变量，将Python的可执行程序及额外的脚本添加到系统路径中。将以下路径添加到PATH中:

C:/Python27/;C:/Python27/Scripts/;

除此之外，还可以用cmd命令来设置Path：

c:/python27/python.exe c:/python27/tools/scripts/win_add2path.py

安装配置完成之后，可以执行命令python --version查看安装的python版本。（如图所示）

2、从http://sourceforge.net/projects/pywin32/安装pywin32

请确认下载符合您系统的版本(win32或者amd64)

从https://pip.pypa.io/en/latest/installing.html安装pip

3、打开命令行窗口，确认pip被正确安装:

pip --version

4、到目前为止Python 2.7 及pip已经可以正确运行了。接下来安装Scrapy:

pip install Scrapy

至此windows下Scrapy安装已经结束。

三、Scrapy入门教程

1、在cmd中创建Scrapy项目工程。

scrapy startproject tutorial

H:/python/scrapyDemo>scrapy startproject tutorialNew Scrapy project 'tutorial', using template directory 'f://python27//lib//site-packages//scrapy//templates//project', created in:  H:/python/scrapyDemo/tutorialYou can start your first spider with:  cd tutorial  scrapy genspider example example.com

2、文件目录结构如下：