在工作中,我们更多的是使用 gitlab 搭建一套跟 github 类似的服务,毕竟 gitlab 有管理界页和更多的权限控制
阅读全文
jenkins是一个开源的、提供友好操作界面的持续集成(CI)工具,主要用于持续、自动的构建/测试软件项目、监控外部任务的运行
阅读全文
在工作中,有时要切换不同 node.js 的版本和使用其它的 npm 源,这里 nvm 和 nrm 就非常适合做这样的工作,nvm 是一个管理 node.js 版本的工具,而 nrm 是一个管理 npm 源的工具,下面我们对这两个工具的安装和用法做一个简单的介绍:
阅读全文
我们在上一篇文章中已经实现了一个获取向下滚动展示更多数据的内容,这一篇文章里我们要把这个爬虫部署到免费的云服务器
阅读全文
今天我们来爬取一个不停向下滚动同时会展示更多内容的网站,这种网站在不停向下滚动的过程中会不停地调用接口,我们可以根据这些接口的规则来获取数据
阅读全文
在第二部分,你已经从网页里提取了所必需的数据并把它们存储在条目里。在第三部分,我将会介绍条目管道,以使用 ORM(SQLAlchemy)将提取的数据保存到数据库和处理重复的数据问题。
阅读全文
在第一部分,你学习了如何设置 Scrapy 项目,并编写一个基本的爬虫通过下面的页面导航链接来提取页面。但是,提取的数据仅仅展示在控制台。在第二部分,我将会介绍条目和条目加载器的概念,并解释你为什么应该要使用它们来存储额外的数据。
阅读全文
网页爬取是数据科学家的一项重要技能。在过去的多年里,我使用过python,BeautifulSoup,和Scrapy开发了大量的web爬取项目,与此同时也阅读了一些书籍和大量的网上教程。
阅读全文
Flutter是谷歌的移动UI框架,可以快速在iOS和Android上构建高质量的原生用户界面。 Flutter可以与现有的代码一起工作。
阅读全文
这是记录Pro Git的读书笔记,有些内容会根据自己的理解加以注释,温故而知新,当中还是可以学到不少知识的
阅读全文