pedrogao

介绍 Raft目前是最著名的分布式共识性算法，被广泛的应用在 etcd、k8s 中。 在6.824中，Raft 作为第二个实验出现，是一系列实验的第一个，最终将实现一个容错的 KV 存储系统。

MapReduce，简称 MR，是 mit6.824 的第一个实验，主要是掌握如何在多物理机分布式的环境下实现大数据的计算，MR 是 Google 三驾马车中的计算引擎。

近期，笔者在github上发现了一个十分好玩的开源项目——sonic。sonic项目的介绍十分简单。 在这段话中，我们可以很迅速的了解sonic的特性。 首先，它很快，比Elasticsearch还要快很多，在官方给出的benchmark中，它的搜索都在毫秒级别的。 第二，它轻…

lin-cms是我们林间有风团队开源的一款CMS，它采用目前主流的前后端分离的架构，前端使用vue作为基础框架，后端选择了我们团队大量实践使用的flask作为基础框架。 你也可以直接查看线上的demo。 得益于前后端分离分离的架构，这套CMS十分灵活，市场上的CMS多是选择服务…

很长一段时间我都没有写博客了，主要是这段时间忙着毕业的事，一直无法专心于做某一件事，所以很多东西都耽搁了。今天聊一聊Kotlin的协程。 上面一段是我摘自阮一峰老师的博客。我们知道最近几年协程这个概念很火，不少的语言都支持了协程，如Python，go等语言。当然由于很多语言历史…

好久没有写博了，最近趁放假做了一个个人的博客系统。由于没有看什么指导教程，基本上都是自己摸索，所以踩了很多坑，做的时间也很长。终于磕磕碰碰把它给搞出来了，基本有也有个博客的样子，但很多地方都比较粗糙，还需要后续的优化。下面我就来介绍一下这个博客系统。 上面的图片便是博客系统的首…

前两篇博客介绍到了掘金数据的爬取和分析，而我们的最终目的是搭建一个小型的检索系统。当然数据全都是偷掘金的了（笑）。目前这个项目已经搭建完毕了，已经发布到github上面了juejin，另外我也之前做了一个伯乐在线的小型检索系统，地址在这demo。 下面就进入今天的正题，关于如何…

今天继续自制信息检索网站的第二步，简单的分析一下掘金的数据。在上次第一步得到数据后通过简单的数据清洗可视化来看一看掘金。 本次使用的是jupyter notebook用到的库有pymongo,用来连接MongoDB数据库；jieba用来进行分词；pyecharts用来数据可视化…

最近一直在掘金上浏览，写博，于是萌生了分析一下掘金的念头。于是顶着冷冰冰的键盘，硬生生的搞了个爬虫把掘金给爬了。掘金的爬取其实很好写，不需要页面解析，直接请求ajax数据，不需要模拟登陆，也不需要怕流量过大而被发现的问题。 下面笔者就来说一说掘金的爬虫。 上图为掘金未登录的页面…