首页 > 学院 > 开发设计 > 正文

scrapy spider 一些设置属性说明

2019-11-08 03:24:27

字体：大中小

来源：转载

供稿：网友

settings.py

DOWNLOAD_TIMEOUT = 10 # 下载超时时间HTTPERROR_ALLOWED_CODES = [403, 502, 503, 404] # 这个设置项，可以在中间调试器中间能访问到这些code码，如果不设置这些的话，是不是访问到的RETRY_TIMES = 5 #重复执行5次RETRY_HTTP_CODES = [500, 502, 503, 504, 400, 403, 404, 408] #出现这些错误码会重复执行的DOWNLOAD_DELAY = 3 时间间隔

spider文件下设置

1. PRiority=9，# 这个设置是下载url优先级（数子大优先权大）如：yield scrapy.Request( url=url_citation, meta={ 'sql': retSql }, callback=self.GetCitation, priority=9, ) 2. 设置某个spider单独使用的设置项等等。 custom_settings = { 'DOWNLOAD_DELAY': 0.2, 'CONCURRENT_REQUESTS_PER_ip': 4, 'DOWNLOADER_MIDDLEWARES': {}, }

上一篇：有return的情况下try catch finally的执行顺序（最有说服力的总结）

下一篇：【目标检测】Fast RCNN算法详解

学习交流

索泰发布一款GTX 1070 Mini迷你版本:小机

索泰发布一款GTX 1070 Mini迷你版本:小机箱大爱...

热门图片

猜你喜欢的新闻

猜你喜欢的关注

新闻热点

荣耀总裁赵明乌镇演讲：荣耀首款5G手机V30下月发布

2019-10-23 09:17:05

搜狐张朝阳：回归媒体是搜狐重新崛起的关键

2019-10-21 09:20:02

华为轮值董事长郭平：虚拟技术创造现实价值

2019-10-21 09:00:12

滴滴英文服务上线两周年用户已超200万

2019-09-26 08:57:12

华为推出全球至快AI训练集群Atlas900

2019-09-25 08:46:36

马斯克：特斯拉正组建中国技术团队

2019-09-25 08:15:43

疑难解答

图片精选

网友关注