Scrapy中的response介绍

酥酥 发布于 2022-05-29 100 次阅读


Scrapy中response介绍:

response属性:

				
					url :HTTP响应的url地址,str类型
status:HTTP响应的状态码, int类型
headers :HTTP响应的头部, 类字典类型, 可以调用get或者getlist方法对其进行访问
body:HTTP响应正文, bytes类型
text:文本形式的HTTP响应正文, str类型
response.text = response.body.decode(response.encoding)
encoding:HTTP响应正文的编码
reqeust:产生该HTTP响应的Reqeust对象
meta:即response.request.meta, 在构造Request对象时, 可将要传递给响应处理函数的信息通过meta参数传入, 响应处理函数处理响应时, 通过response.meta将信息提取出来
selector:Selector对象用于在Response中提取数据使用下面详细将,主要是 xpath,css取值之后的处理
xpath(query):下面详细讲解
css(query) :下面详细讲解
urljoin(url) :用于构造绝对url, 当传入的url参数是一个相对地址时, 根据response.url计算出相应的绝对url.

				
			

Selector属性:

				
					Selector 对象和SelectorList对象都有以下几种方法。
extract() 返回选中内容的Unicode字符串
extract_first()(SelectorList独有)
返回列表中的第一个元素内容
re("正则表达式") 正则提取
re_first()(SelectorList独有)返回列表中的第一个元素内容

				
			

CSS:

				
					response.css('css选择器')   返回值是Selector对象
response.css('css选择器').extract_first()   #获取一个
response.css('css选择器').extract()  # 获取全部
response.css('css选择器::attr(属性名)').extract()  # 获取其中某个属性
(response.css('css选择器::text').extract()  #获取标签里的文本

				
			

xpath:

				
					response.xpath('xpath选择器')   返回值是Selector对象
response.xpath('xpath选择器').extract_first()   #获取一个       
response.xpath('xpath选择器').extract()  # 获取全部        
.//a[contains(@class,"link-title")/text()]  # 获取文本       
.//a[contains(@class,"link-title")/@href]   #获取属性

				
			

保存文件

				
					scrapy crawl quotes -o quotes.jl(jsonlines)
scrapy crawl quotes -o quotes.csv
scrapy crawl quotes -o quotes.xml
scrapy crawl quotes -o quotes.pickle
scrapy crawl quotes -o quotes.marshal
scrapy crawl quotes -o ftp://user:pass@ftp .example.com/path/to/quotes.csv(需要正确配置用户名、密码、地址、输出路径)