查学校去哪个网站,建设网站都要什么,网站做中转,360免费体育直播scrapy数据建模与请求
学习目标#xff1a;
应用 在scrapy项目中进行建模应用 构造Request对象#xff0c;并发送请求应用 利用meta参数在不同的解析函数中传递数据 1. 数据建模 通常在做项目的过程中#xff0c;在items.py中进行数据建模 1.1 为什么建模
定义item即提前…scrapy数据建模与请求
学习目标
应用 在scrapy项目中进行建模应用 构造Request对象并发送请求应用 利用meta参数在不同的解析函数中传递数据 1. 数据建模 通常在做项目的过程中在items.py中进行数据建模 1.1 为什么建模
定义item即提前规划好哪些字段需要抓防止手误因为定义好之后在运行过程中系统会自动检查配合注释一起可以清晰的知道要抓取哪些字段没有定义的字段不能抓取在目标字段少的时候可以使用字典代替使用scrapy的一些特定组件需要Item做支持如scrapy的ImagesPipeline管道类百度搜索了解更多
1.2 如何建模
在items.py文件中定义要提取的字段
# Define here the models for your scraped items
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.htmlimport scrapy
class DoubanItem(scrapy.Item):# define the fields for your item here like:name scrapy.Field() # 名字content scrapy.Field() # 内容link scrapy.Field() # 链接txt scrapy.Field() #详情介绍1.3 如何使用模板类
模板类定义以后需要在爬虫中导入并且实例化之后的使用方法和使用字典相同
job.py
from myspider.items import MyspiderItem # 导入Item注意路径
...def parse(self, response)item MyspiderItem() # 实例化后可直接使用item[name] node.xpath(./h3/text()).extract_first()item[title] node.xpath(./h4/text()).extract_first()item[desc] node.xpath(./p/text()).extract_first()print(item)注意
from myspider.items import MyspiderItem这一行代码中 注意item的正确导入路径忽略pycharm标记的错误python中的导入路径要诀从哪里开始运行就从哪里开始导入
1.4 开发流程总结
创建项目 scrapy startproject 项目名明确目标 在items.py文件中进行建模创建爬虫 3.1 创建爬虫 scrapy genspider 爬虫名 允许的域 3.2 完成爬虫 修改start_urls 检查修改allowed_domains 编写解析方法保存数据 在pipelines.py文件中定义对数据处理的管道 在settings.py文件中注册启用管道
2. 翻页请求的思路 对于要提取如下图中所有页面上的数据该怎么办 回顾requests模块是如何实现翻页请求的
找到下一页的URL地址调用requests.get(url)
scrapy实现翻页的思路
找到下一页的url地址构造url地址的请求对象传递给引擎
3. 构造Request对象并发送请求
3.1 实现方法
确定url地址构造请求scrapy.Request(url,callback) callback指定解析函数名称表示该请求返回的响应使用哪一个函数进行解析 把请求交给引擎yield scrapy.Request(url,callback)
3.2 网易招聘爬虫 通过爬取豆瓣新书速递的页面信息,学习如何实现翻页请求 地址 https://book.douban.com/latest?icnindex-latestbook-all 思路分析
获取首页的数据寻找下一页的地址进行翻页获取数据
注意
可以在settings中设置ROBOTS协议
# False表示忽略网站的robots.txt协议默认为True
ROBOTSTXT_OBEY False可以在settings中设置User-Agent
# scrapy发送的每一个请求的默认UA都是设置的这个User-Agent
USER_AGENT Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36scrapy.Request的更多参数
scrapy.Request(url[,callback,methodGET,headers,body,cookies,meta,dont_filterFalse])参数解释
中括号里的参数为可选参数callback表示当前的url的响应交给哪个函数去处理meta实现数据在不同的解析函数中传递meta默认带有部分数据比如下载延迟请求深度等dont_filter:默认为False会过滤请求的url地址即请求过的url地址不会继续被请求对需要重复请求的url地址可以把它设置为Ture比如贴吧的翻页请求页面的数据总是在变化;start_urls中的地址会被反复请求否则程序不会启动method指定POST或GET请求headers接收一个字典其中不包括cookiescookies接收一个字典专门放置cookiesbody接收json字符串为POST的数据发送payload_post请求时使用在下一章节中会介绍post请求
4. meta参数的使用 meta的作用meta可以实现数据在不同的解析函数中的传递 在爬虫文件的parse方法中提取详情页增加之前callback指定的parse_detail函数
def parse(self,response):...yield scrapy.Request(detail_url, callbackself.parse_detail,meta{item:item})
...def parse_detail(self,response):#获取之前传入的itemitem resposne.meta[item]特别注意
meta参数是一个字典meta字典中有一个固定的键proxy表示代理ip关于代理ip的使用我们将在scrapy的下载中间件的学习中进行介绍 小结
完善并使用Item数据类在items.py中完善要爬取的字段在爬虫文件中先导入Item实力化Item对象后像字典一样直接使用构造Request对象并发送请求导入scrapy.Request类在解析函数中提取urlyield scrapy.Request(url, callbackself.parse_detail, meta{})利用meta参数在不同的解析函数中传递数据:通过前一个解析函数 yield scrapy.Request(url, callbackself.xxx, meta{}) 来传递meta在self.xxx函数中 response.meta.get(‘key’, ‘’) 或 response.meta[‘key’] 的方式取出传递的数据
