子竹聆风

正常在学习一个新框架之前， 肯定要先调研下这个框架究竟能做些什么事吧？ 但对于 streamlit 来说，请你相信我，这是一个你可以无脑去学习的框架.

小知识，大挑战！本文正在参与“程序员必备小知识”创作活动。 最近在基于 scrapy 重新搭建一个更加强大的爬虫框架， 今天分享一下在搭建重试中间键的过程中的一些思考和总结 scrapy 自带的中间键

背景：首先说一下项目背景，我们公司有两条业务线，一条是免费小说，另一条就是广告，我们在免费小说中会内嵌一些广告，通过广告来获取收益。那么我负责开发的是广告SSP系统，老大和我说，我们的广告检索、曝光、点击日活大概是百万吧。然后我们一商量决定使用Openresty来提供广告的we…

Consul 是 HashiCorp 公司推出的开源工具，用于实现分布式系统的服务发现与配置。Consul 是分布式的、高可用的、 可横向扩展的。它具备以下特性: 服务发现: Consul 提供了通过 DNS 或者 HTTP 接口的方式来注册服务和发现服务。一些外部的服务通过 …

😀 这是爬虫专栏第 「32」 篇原创 我们在前面尝试维护过一个代理池，代理池可以挑选出许多可用代理，但是常常其稳定性不高、响应速度慢，而且这些代理通常是公共代理，可能不止一人同时使用，其 IP 被封的

可以看到重试三次之后，抛出异常。今天讲的就是如何处理这个异常，也就是scrapy的errback。 errback函数能捕获的scrapy错误有：连接建立超时，DNS错误等。也就是日志中类似

下载链接： https://cloud.genymotion.com/page/launchpad/download/ 下载之前 需要在 官网上 注册一个 账号。 下载 mac os 64 位 对应的版本。 下载完后 是 dmg ，打开dmg 直接将 Genymotion Sh…

对于互联网企业来说，随着业务的不断拓展，公司所运行的项目越来越多，项目业务逻辑也越来越复杂，需要定制化开发的内容也越来越多。 大数据背景下的舆情公司，由于业务需求数据范围广，无法通过一种统一的方式，来解决所有类型数据的采集。随之而来的，就是定制化开发的采集器越来越多，这些采集器…

说好的教程终于来了，第一篇文章主要来说一说在开始写实际业务代码之前的一些准备工作吧，但这里不会教你 webpack 的基础配置，热更新原理是什么，webpack速度优化等等，有需求的请自行 google，相关文章已经很多了。 如图可见模块有很多，而且随着业务的迭代，模块还会会越…

1/Presto不是什么 Presto一直被一些个人或者团体称为数据库，但是Presto真的不是数据库。 千万不要以为Presto可以解析SQL，那么Presto就是一个标准的数据库。 Presto并