Scrapy.Request简介

Scrapy.Request 是Scrapy框架中用于发送HTTP请求的核心类。通过它，我们可以请求网页、API接口或其他网络资源，获取响应内容进行数据解析和处理。

在Scrapy爬虫中，Request对象被用于定义如何获取页面，包括URL、请求方法、回调函数以及各种请求参数。掌握Scrapy.Request的使用对于构建高效、灵活的爬虫至关重要。

基础用法

在Scrapy爬虫中，我们通常在start_requests()方法或解析函数中创建Request对象。下面是一个基本示例：

import scrapy

class ExampleSpider(scrapy.Spider):
    name = 'example_spider'
    start_urls = ['http://example.com']
    
    def parse(self, response):
        # 提取页面中的链接并创建新的请求
        for link in response.css('a::attr(href)').getall():
            # 创建新的Request对象
            yield scrapy.Request(
                url=response.urljoin(link),
                callback=self.parse_detail_page
            )
    
    def parse_detail_page(self, response):
        # 处理详细页面
        title = response.css('h1::text').get()
        content = response.css('.content::text').getall()
        
        yield {
            'title': title,
            'content': content,
            'url': response.url
        }

发送POST请求

对于需要提交表单或API请求的场景，我们需要使用POST方法。下面是一个发送POST请求的示例：

import scrapy
import json

class ApiSpider(scrapy.Spider):
    name = 'api_spider'
    
    def start_requests(self):
        # 登录API地址
        login_url = 'https://api.example.com/login'
        
        # 登录请求数据
        login_data = {
            'username': 'your_username',
            'password': 'your_password'
        }
        
        # 发送POST请求
        yield scrapy.Request(
            url=login_url,
            method='POST',
            body=json.dumps(login_data),
            headers={'Content-Type': 'application/json'},
            callback=self.after_login
        )
    
    def after_login(self, response):
        # 检查登录是否成功
        if response.status != 200:
            self.logger.error('Login failed')
            return
        
        # 解析登录响应
        data = json.loads(response.text)
        token = data.get('token')
        
        # 使用token请求其他API
        api_url = 'https://api.example.com/data'
        yield scrapy.Request(
            url=api_url,
            headers={'Authorization': f'Bearer {token}'},
            callback=self.parse_api_data
        )

高级特性

def parse(self, response):
    item = {'main_url': response.url}
    yield scrapy.Request(
        url='http://example.com/detail',
        callback=self.parse_detail,
        meta={'item': item}
    )

def parse_detail(self, response):
    item = response.meta['item']
    item['detail'] = response.css('.detail::text').get()
    yield item

def parse(self, response):
    yield scrapy.Request(
        url='http://example.com/unstable',
        callback=self.parse_success,
        errback=self.parse_error
    )

def parse_success(self, response):
    # 处理成功响应
    pass

def parse_error(self, failure):
    # 处理错误
    self.logger.error(f'Request failed: {failure.value}')

# 高优先级请求
yield scrapy.Request(
    url='http://example.com/important',
    priority=100
)

# 低优先级请求
yield scrapy.Request(
    url='http://example.com/less-important',
    priority=10
)

最佳实践