课程分类

localStorage 设置值 js // 设置值 localStorage.setItem('name', 'aaron'); // 简化写法 localStorage.name = 'aaron'; 取值 js // 取值 localStorage.getItem('name') // 简化写法 localStorage.name 删除 js…

getCurrentPosition获取定位方法 js //10秒超时 navigator.geolocation.getCurrentPosition(updateLocation, handleLocationError, {timeout: 10000}); 第一个参数为 updateLocation，成功获取定位的回调。 第二个参数为 handleLocationError…

短连接、轮询、长连接 短连接是指通讯双方有数据交互时，就建立一个连接。数据发送完成后，就断开这个连接，就是…

安装 py pip install scrapy 安装scrapy爬虫框架 会安装大量依赖包，其中包含 pyOpenSSL: 用于支持 SSL的包 cryptography：用于加密 CFFI: 用于调用…

使用 shell 调试工具 sh $ scrapy shell https://clwy.cn/video/categories/php 若果发现出现 403 错误，说明站点开启了反爬虫，这时可以使用…

ClwySpider/items.py 定义要爬取的属性 py import scrapy class ClwyspiderItem(scrapy.Item): 标题 title = scrapy.Field() 详情连接 url = scrapy.Field() 图片…

按照这个方法，将其它想抓取的数据都取出来 ClwySpider/spiders/cousrs.py 中 py import scrapy from ClwySpider.items import ClwyspiderItem class CourseSpider(scrapy…

命令行中可以看到 'itemscrapedcount': 12，一共爬取到12条记录，也就是只爬取了第一页的数据。但是还有第二的数据没有…

保存到 json 文件 pipelines.py 中 py import json class ClwyspiderPipeline(object): 定义构造器，初始化要写入的文件 def init(self): self.jsonfile = open…

这次要爬取的是 CLWY 的新闻列表以及文章内页，Api 文档地址： https://clwy.cn/guide/documents/clwyapi/20/informationarticles 使用 Shell 分析…

IP 地址验证 有的站点，如果发现同一个 IP 地址，频繁的请求数据，就认为这是一个爬虫程序。 解决方法是，让 Scrapy 随机…

一些数据，必须登录后才能爬取，解决方案有两种： 直接用爬虫程序向登录站点提交用户名、密码、验证码等参数，登录成功后记录…

基础环境 py 创建项目 mkdir clwy cd clwy 虚拟环境 python3 m venv env . env/bin/activate 安装框架 pip install django pip install djangorestframework 构建项目 djangoadmin…

Category模型 categories子应用中，修改models.py py from django.db import models 定义分类 class Category(models.Model): name = models.CharField(maxlength=20, verbosename='名称…

这里使用 Django Shell 来测试 py python manage.py shell 单条记录序列化 py from categories.models import Category from categories.serializers import CategorySerializer category = Category…

验证 py from categories.serializers import CategorySerializer data = {'sort': 1} serializer = CategorySerializer(data=data) serializer.isvalid() serializer.errors serializer.validateddata py data = {'name': '服务器'} serializer =…

更简单的方法是直接定义模型类序列化器 定义 py from restframework import serializers from .models import Category 分类序列化 class CategorySerializer(serializers.ModelSerializer): class…

请求 request.data，与之前的request.POST一回事 request.queryparams，与之前的request.GET一回事 响应 py Response(data, status=None, templatename=None, headers=None, contenttype=None) data…

APIView 常规用法 py from restframework.views import APIView from .models import Category from .serializers import CategorySerializer from restframework.response import Response class ListView(APIView): def get(self…

ViewSet 使用视图集ViewSet，可以将一系列逻辑相关的动作放到一个类中： list() 提供一组数据 retrieve() 提供单个数据 create() 创建数据 update…