openoter

为了方便部署多个项目，我们采用 docker-compose 来管理。.yml 文件严格要求对齐格式，请小心书写

最近发现知乎上感兴趣的问题越来越少，于是准备聚合下其他平台技术问答，比如 segmentfault、stackoverflow 等。 要完成这个工作，肯定是离不开爬虫的。我就顺便抽时间研究了 Go 的一款爬虫框架 colly。 colly 是 Go 实现的比较有名的一款爬虫框架…

基于Golang的分布式爬虫管理平台，支持Python、NodeJS、Java、Go、PHP等多种编程语言以及多种爬虫框架。 项目自今年三月份上线以来受到爬虫爱好者们和开发者们的好评，不少使用者还表示会用Crawlab搭建公司的爬虫平台。经过近数月的迭代，我们陆续上线了定时任务…

前几个周前前后后阅读了4个Go框架的生命周期，阅读过程中对它们在框架中间件的实现颇有印象，总觉着实现的都不是很完美。 为什么呢？

Redis作为一款性能优异的内存数据库，在互联网公司有着多种应用场景，下面介绍下Redis在京东到家的订单列表中的使用场景。

为了封禁某些爬虫或者恶意用户对服务器的请求，我们需要建立一个动态的 IP 黑名单。对于黑名单之内的 IP ，拒绝提供服务。

在 redis 的 db 存在大量 key 或者 db 里头的某个 set、zset、hash 里头的元素非常多的话，用普通的 get all 操作很可能导致 redis 因为这个操作阻塞了，导致不能响应其他操作，特别是在高并发、海量数据的背景下，这个问题显得尤其严重。那么能不能像数据库那样有个分页的功能呢，答案就是 scan 操作。本文主要展示怎么在 redis-cli 以及 SpringDataRedis 中的使用。

这篇博文讲介绍如何一步步构建一个基于Redis的分布式锁。会从最原始的版本开始，然后根据问题进行调整，最后完成一个较为合理的分布式锁。 本篇文章会将分布式锁的实现分为两部分，一个是单机环境，另一个是集群环境下的Redis锁实现。在介绍分布式锁的实现之前，先来了解下分布式锁的一些…