chevron_left

Scrapy 爬虫开发教程
免费
第 5 回

教程文档

Scrapy 爬虫开发教程 - 分页

2023年11月13日
Scrapy 爬虫开发教程

分页

命令行中可以看到 'item_scraped_count': 12，一共爬取到 12 条记录，也就是只爬取了第一页的数据。但是还有第二的数据没有爬取，那要怎么处理才能爬取到所有分页的数据呢？

1.png

2.png

import scrapy
from ClwySpider.items import ClwyspiderItem


class CourseSpider(scrapy.Spider):
    # ...

    def parse(self, response):
        for course in response.xpath('//div[@id="courseList"]/div/a'):
           ...
请登录后查看更多expand_more

课程介绍

Scrapy 是适用于 Python 的一个快速、高层次的屏幕抓取和 web 抓取框架，用于抓取 web 站点并从页面中提取结构化的数据。Scrapy 用途广泛，可以用于数据挖掘、监测和自动化测试。

Scrapy 吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如 BaseSpider、sitemap 爬虫等，最新版本又提供了 web2.0 爬虫的支持。

Scrapy 是一个适用爬取网站数据、提取结构性数据的应用程序框架，它可以应用在广泛领域：Scrapy 常应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。通常我们可以很简单的通过 Scrapy 框架实现一个爬虫，抓取指定网站的内容或图片。

尽管 Scrapy 原本是设计用来屏幕抓取（更精确的说，是网络抓取），但它也可以用来访问 API 来提取数据。

目录

适合这样的人

新手

授课老师