使用Python爬了4400条淘宝商品数据,竟发现了这些“潜规则”

本文记录了笔者用 Python 爬取淘宝某商品的全过程，并对商品数据进行了挖掘与分析，最终得出结论。

项目内容

本案例选择>> 商品类目：沙发；
数量：共100页  4400个商品；
筛选条件：天猫、销量从高到低、价格500元以上。

项目目的

1. 对商品标题进行文本分析 词云可视化
2. 不同关键词word对应的sales的统计分析
3. 商品的价格分布情况分析
4. 商品的销量分布情况分析
5. 不同价格区间的商品的平均销量分布
6. 商品价格对销量的影响分析
7. 商品价格对销售额的影响分析
8. 不同省份或城市的商品数量分布
9.不同省份的商品平均销量分布

注：本项目仅以以上几项分析为例。

项目步骤

1. 数据采集：Python爬取淘宝网商品数据
2. 对数据进行清洗和处理
3. 文本分析：jieba分词、wordcloud可视化
4. 数据柱形图可视化 barh
5. 数据直方图可视化 hist
6. 数据散点图可视化 scatter
7. 数据回归分析可视化 regplot

工具&模块：

工具：本案例代码编辑工具 Anaconda的Spyder
模块：requests、retrying、missingno、jieba、matplotlib、wordcloud、imread、seaborn 等。

一、爬取数据

因淘宝网是反爬虫的，虽然使用多线程、修改headers参数，但仍然不能保证每次100%爬取，所以 我增加了循环爬取，每次循环爬取未爬取成功的页 直至所有页爬取成功停止。
说明：淘宝商品页为JSON格式 这里使用正则表达式进行解析；

代码如下：

二、数据清洗、处理：

(此步骤也可以在Excel中完成 再读入数据)

代码如下：

说明：根据需求，本案例中只取了 item_loc, raw_title, view_price, view_sales 这4列数据，主要对 标题、区域、价格、销量 进行分析。

代码如下:

三、数据挖掘与分析：

【1】. 对 raw_title 列标题进行文本分析：

使用结巴分词器，安装模块pip install jieba