prepeace

最近研究了一下python爬虫，所以写一下自己的经验，爬取豆瓣电影的信息。（第一次写这个！） 4.下面代码是爬取信息所用的时间。 6.爬取代理ip的信息放入队列里，方便爬取豆瓣信息时获取。 8.开始爬取豆瓣top250数据的链接。 9.是时候爬取真正的信息了，爬取的信息写入数组…

在退出with语句下的代码块之后，f 对象会自动执行自己的close方法，实现资源的释放，简洁优雅。 f 对象之所以会自动执行自己的close方法，是因为它是一个上下文管理器，所以我们要先说说什么是上下文管理器。 f 对象就是把自己的close方法定义在了它的__exit__方…

布隆过滤器是一个神奇的数据结构，可以用来判断一个元素是否在一个集合中。很常用的一个功能是用来去重。在爬虫中常见的一个需求：目标网站 URL 千千万，怎么判断某个 URL 爬虫是否宠幸过？简单点可以爬虫每采集过一个 URL，就把这个 URL 存入数据库中，每次一个新的 URL 过…

在部署项目时，不可能直接将所有的信息都输出到控制台中，我们可以将这些信息记录到日志文件中，这样不仅方便我们查看程序运行时的情况，也可以在项目出现故障时根据运行时产生的日志快速定位问题出现的位置。 Python 标准库 logging 用作记录日志，默认分为六种日志级别（括号为级…

在一个应用服务中，对于时效性要求没那么高的业务场景，我们没必要等到所有任务执行完才返回结果，例如用户注册场景中，保存了用户账号密码之后，就可以立即返回，后续的账号激活邮件，可以用一种异步的形式去处理，这种异步操作可以用队列服务来实现。否则，如果等到邮件发送成功可能几秒过去了。 …

从应用程序到工作流，随处都有数据库的用武之地，而为大多数企业部署这些数据引擎的最佳方式便是成本低廉且功能先进的数据库即服务（DBaaS）。这里我们测评了一些顶级 DBaaS 解决方案供您参考，您可根据自身业务选择其中最合适的。 数据库即服务（DBaaS）是云上数据库存储和服务的…

看本文之前，推荐给大家一个阿里云双11活动，真的非常非常非常推荐，对于新人阿里云真的是下血本了，建议阿里云新人一定一定一定不要错过。如果觉得这单纯是广告的话，你可以直接跳过看正文。 写本文之前，其实我自己已经开源了一个 Java学习指南的文档，里面包含了一些基础知识和一些后端（…

web应用采用browser/server架构，http作为通信协议。http是无状态协议，浏览器的每一次请求，服务器会独立处理，不与之前或之后的请求产生关联，这个过程用下图说明，三次请求/响应对之间没有任何联系 但这也同时意味着，任何用户都能通过浏览器访问服务器资源，如果想保…