Python小姿势 - Python爬取数据的库——Scrapy

Python爬取数据的库——Scrapy

一、爬虫的基本原理 爬虫的基本原理就是模拟人的行为，使用指定的工具和方法访问网站，然后把网站上的内容抓取到本地来。

爬虫的基本步骤：

1、获取URL地址：

2、发送请求获取网页源码；

3、使用正则表达式提取信息；

4、保存数据。

二、爬虫的类型 爬虫分为两类：

1、基于规则的爬虫：

基于规则的爬虫是指爬虫开发者需要自己定义爬取规则，爬虫根据规则解析页面，抽取所需要的数据。

2、自动化爬虫：

自动化爬虫不需要爬虫开发者定义爬取规则，爬虫可以根据给定的URL地址自动发现目标网站的结构静态网页的爬取思路，并自动抽取所需要的数据。

三、Python爬虫框架——Scrapy

Scrapy是用于爬取网站数据的一个框架，可以自动发现目标网站的结构，并自动抽取所需要的数据。Scrapy框架的基本组件如下：

1、Spider：

Spider是爬虫的核心组件静态网页的爬取思路，负责从指定的URL地址开始爬取网页数据。爬虫开发者需要自己定义Spider类，并实现parse()方法。

2、Item：

Item是爬取到的数据的载体，爬虫开发者需要自己定义Item类，并定义相应的字段。

3、Pipeline：

Pipeline是爬虫数据处理组件，负责对爬取到的数据进行清洗、过滤和存储。爬虫开发者需要