豆豆V

Pysider Pysider 是一个国人用 Python 编写的、带有强大的 WebUI 的网络爬虫系统，它支持多种数据库、任务监控、项目管理、结果查看、URL去重等强大...

1 简介 newspaper 框架是一个主要用来提取新闻内容及分析的 Python 爬虫框架，更确切的说，newspaper 是一个 Python 库，但这个库由第三方开发...

上一篇 LeetCode 面试题中，我们分析了一道字符串的算法题 - 反转字符串中的元音字母，今天我们来分析一道简单的几何题吧。 今天要给大家分析的面试题是 LeetCod...

Beautiful Soup 简介 Beautiful Soup 是一个可以从 HTML 或 XML 文件中提取数据的 Python 库，它提供了一些简单的操作方式来帮助你...

Beautiful Soup 简介 Beautiful Soup 是一个可以从 HTML 或 XML 文件中提取数据的 Python 库，它提供了一些简单的操作方式来帮助你...

在之前的课程中,介绍过 Flask-Login 框架，它是基于 Session 和 Cookie 技术来实现用户授权和验证的，不过 Session 有很多的局限性，这一节介...

今天来为大家介绍 Django 框架的模型部分，模型是真实数据的简单明确的描述，它包含了储存的数据所必要的字段和行为，Django 遵循 DRY Principle 。它的...

上一篇 LeetCode 面试题中，我们分析了一道相对轻松的字符串面试题 - 最后一个单词的长度。今天，我们接着来看另一道字符串的算法题吧。 今天要给大家分析的面试题是 L...

HTTP 入门 HTTP，全称“超文本传输协议（HyperText Transfer Protocol）”，是构建我们今天所熟知的万维网的基础，也是我们在访问互联网时最常见...

用户登录功能是 Web 系统一个基本功能，是为用户提供更好服务的基础，在 Flask 框架中怎么做用户登录功能呢？今天我们学习一下 Flask 的用户登录组件 Flask-...

作为程序员，相信大家对“爬虫”这个词并不陌生，身边常常会有人提这个词，在不了解它的人眼中，会觉得这个技术很高端很神秘。不用着急，我们的爬虫系列就是带你去揭开它的神秘面纱，探...

Event(事件) Event 是一个事务处理的机制，用于通知多个异步任务某个事件已经发生了。比如在交通红绿灯中多辆在行驶中的汽车可以表示成程序中的多个异步任务，红绿灯的亮...

大家都知道当任务过多，任务量过大时如果想提高效率的一个最简单的方法就是用多线程去处理，比如爬取上万个网页中的特定数据，以及将爬取数据和清洗数据的工作交给不同的线程去处理，也...

本节主要介绍 multiprocessing 多进程模块，由于 threading 多线程模块无法充分利用电脑的多核优势，而在实际开发中会对系统性能有较高的要求，就需要使用...

Python Queue 入门 Queue 简介 Queue 叫队列，是数据结构中的一种，基本上所有成熟的编程语言都内置了对 Queue 的支持。 Python 中的 Qu...

上一篇文章简单介绍了 Queue 的入门操作，今天我们学习下 Queue 的进阶用法。 生产者消费者模型 在并发编程中，比如爬虫，有的线程负责爬取数据，有的线程负责对爬取到...

Selenium 环境配置好之后，我们就可以使用 Selenium 来操作浏览器，做一些我们想做的事情了。在我们爬取网页过程中，经常发现我们想要获得的数据并不能简单的通过解...

如果你做过 Web 测试的工作，那么你应该明白 Web 测试中最重要的一部分工作就是自动化测试。自动化测试，顾名思义就是让浏览器自动运行，而无需手动操作。这和我们爬虫工作原...

PyQuery 库是一个非常强大又灵活的网页解析库，如果你有前端开发经验，那么你应该接触过 jQuery ,那么 PyQuery 就是你非常绝佳的选择，PyQuery 是 ...

XPath 和 lxml XPath 全称为 Xml Path Language，即 Xml 路径语言，是一种在 Xml 文档中查找信息的语言。它提供了非常简洁的路径选择表...