基于Golang的分布式爬虫管理平台，支持Python、NodeJS、Java、Go、PHP等多种编程语言以及多种爬虫框架。 项目自今年三月份上线以来受到爬虫爱好者们和开发者们的好评，不少使用者还表示会用Crawlab搭建公司的爬虫平台。经过近数月的迭代，我们陆续上线了定时任务…

最近在公司做了几张报表，还记得刚开始要做报表的时候都快把SQL给忘光了（当时在广州休假了1个月多，在实习期间也没咋写过SQL），回到公司的第一个需求就是做报表。 于是我很不要脸地跟带我的学长说：“SQL我好像忘光了，group 分组查询好像都忘得差不多了，我得复习一下”。 gr…

整理了一些Mysql数据库相关流程图/原理图，做一下笔记，大家一起学习。 mysql主从复制原理是大厂后端的高频面试题，了解mysql主从复制原理非常有必要。 主数据库有个bin-log二进制文件，纪录了所有增删改Sql语句。（binlog线程） 从数据库把主数据库的bin-l…

公司需要开发一个内部系统，要求每个部门都要接入。老板钦点，工期又压得短，于是浩浩汤汤的上百人就调过来了。 再简单的事情，只要人多起来就会变得复杂，开发的世界也是如此。 这时候Git子模块就派上用场。 首先需要的当然是一个合理的架构，由于公司的保密原则这里就不贴项目了，本文主要描…

Grbac是一个快速，优雅和简洁的RBAC框架。它支持增强的通配符并使用Radix树匹配HTTP请求。令人惊奇的是，您可以在任何现有的数据库和数据结构中轻松使用它。 grbac的作用是确保指定的资源只能由指定的角色访问。请注意，grbac不负责存储鉴权规则和分辨“当前请求发起者…

| 导语 10亿级，是微信用户的数量级。这个庞大数字的背后，是“看一看”、“微信广告”、“微信支付”、“小程序”等业务对数据库10亿级的读写需求。那么，在此场景下诞生的 FeatureKV，究竟是怎样强悍的一个存储系统呢？ PaxosStore 是微信内广泛应用的强一致性的分布…

相信很多人对于MySQL的索引都不陌生，索引(Index)是帮助MySQL高效获取数据的数据结构。 因为索引是MySQL中比较重点的知识，相信很多人都有一定的了解，尤其是在面试中出现的频率特别高。楼主自认为自己对MySQL的索引相关知识有很多了解，而且因为最近在找工作面试，所以…