我们在上一篇文章中已经实现了一个获取向下滚动展示更多数据的内容，这一篇文章里我们要把这个爬虫部署到免费的云服务器

今天我们来爬取一个不停向下滚动同时会展示更多内容的网站，这种网站在不停向下滚动的过程中会不停地调用接口，我们可以根据这些接口的规则来获取数据

在第二部分，你已经从网页里提取了所必需的数据并把它们存储在条目里。在第三部分，我将会介绍条目管道，以使用 ORM（SQLAlchemy）将提取的数据保存到数据库和处理重复的数据问题。

在第一部分，你学习了如何设置 Scrapy 项目，并编写一个基本的爬虫通过下面的页面导航链接来提取页面。但是，提取的数据仅仅展示在控制台。在第二部分，我将会介绍条目和条目加载器的概念，并解释你为什么应该要使用它们来存储额外的数据。

网页爬取是数据科学家的一项重要技能。在过去的多年里，我使用过python，BeautifulSoup，和Scrapy开发了大量的web爬取项目，与此同时也阅读了一些书籍和大量的网上教程。

今天我们用另外一种方式来爬取古诗词的网站，目标网站是爬取诗词名句网的所有古诗词，相比于我们之前爬取博客的方法会更简单些，但要对正则表达式有一定的了解

在本文中，我将写一个网页爬虫，它从OLX’s的 Electronics & Appliances 项目里爬取数据。但是在我写代码之前，这里先要简单介绍一下scrapy。

用scrapy框架可以非常方便地爬取网站的内容，只需要简单写一些业务处理，同时配置好数据库还有一些参数配置就可以了，下次可以拿这个模板改一下业务来重复使用

scrapy是一个爬取网站数据的应用框架，只要把框架搭建起来，在里面添加要爬取内容的业务逻辑就可以了，这一节先简单介绍一下scrapy的安装和简单使用