首页
AI Coding
NEW
沸点
课程
直播
活动
AI刷题
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
叫我书豪就行了
掘友等级
希望能让你自由。
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
16
文章 9
沸点 7
赞
16
返回
|
搜索文章
最新
热门
Big Table 论文笔记
相比于Google File System,Bigtable: A Distributed Storage System for Structured Data 这篇论文对于设计细节没有那么详尽,比较点到为止。另外本篇也是谷歌大脑的负责人 Jeffrey Dean 比较重要的成…
《Programming Hive》笔记
Hive 将参数、变量视为不同的命名空间。Hive 一共有 hiveconf,system,env 和 hivevar 4个命名空间。其中,env是不可修改的,它是shell里读取的环境变量。除了hivevar,其他的命名空间里的变量都要加上前缀来修改,比如: 传递配置参数的方…
极客时间MySQL实战笔记(一)
这个课程感觉干货还是比较多的,去年就看过一次深有体会。不过极客时间用起来笔记并不好导出,索性就直接手写了。这里加入了许多自己的理解和拓展。 可以用mysql_reset_connection重置连接,释放连接占用的资源。 总是set autocommit=1允许线程的自动提交,…
从有锁到无锁(三):屏障
屏障是一个多线程协调的基本机制。 在Java里屏障的实现是CyclicBarrier。它和CountDownLatch的区别常常被人津津乐道。实际上,CountDownLatch只能完成一个原子计数器的作用,正如它的名字一样——门栓。不过,你有没有想过,为什么CountDown…
从有锁到无锁(二):队列
本篇对应 TAOMP 第 10 章。从队列开始,Java 里就有许多相对的实现了。 这里需要引入池的概念:不需要检测contains,只有get和put。池是一种比集合更加简单的数据结构,就像是背包(bag)一样。 池可以是有界的,也可以是无界的。当我们不希望生产者生产速度过快…
从有锁到无锁(一):链表
去年读了一下 TAOMP,但是一直没有时间好好整理一下笔记,懒癌要治一下……所以我准备把这本书每个部分切分一下,这样可能还能挤个几篇。 现在网上的资料真的是铺天盖地,往往都是所有人对同一个知识点反复咀嚼(让人想到那个啥……)。不能说这样不好吧,我还是喜欢读一些更原始更系统的东西…
Raft Extended 论文笔记
为什么要叫 extended 是因为之前已经发了一篇理论性的,但比较简单,所以这一篇比较详细。本篇文章在 2014 年发表,你也可以看到,分布式系统确实是一个方兴未艾的领域。 诸如 Raft 和 Paxos 这样的容错共识算法,其解决的都是一个自动选举问题。这样说可能很奇怪,但…
MapReduce 的核心流程
下文中新旧的意思分别代表 Hadoop 0.20 前后。原因是 MapReduce 在这个版本进行了一次大改,主要的特点就是划分了新旧两个包名。新版的特点是使用了抽象类代替一些可扩展的接口,以及增加了 Context 的概念。比如说,MapContext中就封装了获取切片、读取…
远程提交YARN作业可能遇到的问题
很多都是以前第一次写 MapReduce 时遇到的了。当时也是一步步追踪下来的。后来对 YARN 比较熟悉了以后,也就不算什么了。不过,我想也会有许多初学者可能会有同样的疑问,就特意写一下。 如果使用了比较旧的包(1.x),或者是使用了 CDH 提供的兼容包(比如2.0.0-m…
Mesos 论文笔记
在整理 Yarn 的笔记之前,我觉得先从 Mesos 开始可能从时间线上来看更合理一些。 之后,就是 Spark 名声大噪,而它正是基于 Mesos(它们都孵化自伯克利著名的 AMPLab)。 从论文的名字可以看到,Mesos 解决的是当时集群之上不同框架的调度问题。显然,相比…
下一页
个人成就
文章被点赞
39
文章被阅读
54,198
掘力值
1,204
关注了
18
关注者
37
收藏集
0
关注标签
19
加入于
2018-06-28