首页
首页
沸点
课程
直播
活动
竞赛
商城
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
eddie_lin
掘友等级
后端开发
|
ByteDance
码上来
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
12
文章 12
沸点 0
赞
12
返回
|
搜索文章
最新
热门
麻省理工——分布式系统 MIT 6.824 lab_1 MapReduce
通过Master角色接收到用户传进来的文件路径,找到需要进行MapReduce处理的原始文件。 我们这边简单对输入进行任务切分(一个文件对应一个MapTask)。 Shuffle :将MapTask的输出,改造成ReduceTask的输入。 直至所有MapTask全部执行完毕后…
Hadoop-MapReduce源码分析
没有计算发生。 支撑了计算向数据移动,和计算的并行度。 做的最主要的是:存储与计算解耦,就是对所要进行切片的数据进行split切片,(split == map并行度)。 Split默认是与Block块数量一致,目的是为了计算向数据移动,几个Block块分布在几个地方,就起几个M…
从源码级别深挖Zookeeper监听机制
在Zookeeper被监听的结点对象/信息发生了改变,就会触发监听机制,通知注册者。 在创建zookeeper客户端实例时,需要下列参数。 这个 Watcher 将作为整个 ZooKeeper 会话期间的上下文 ,一直被保存在客户端 ZKWatchManager 的 defau…
我是怎么学习的?十步学习法
1. 了解全局 2. 确定范围 JVM涉及范围很广阔,我们不能都对其中每一个细节都了如指掌,对于一些对自己不那么重要的就可以略过。 你需要在你的项目里,自定义一个类加载器去加载自定义的类,那么就着重去学习类加载子系统这一块的内容。 你想大概了解一下JVM,那么就学习一下JVM的…
三色标记法与垃圾回收器(CMS、G1)
三色标记法将对象的颜色分为了黑、灰、白,三种颜色。 黑色:该对象已经被标记过了,且该对象下的属性也全部都被标记过了。(程序所需要的对象) 灰色:该对象已经被标记过了,但该对象下的属性没有全被标记完。(GC需要从此对象中去寻找垃圾) 白色:该对象没有被标记过。(对象垃圾) 浮动垃…
Redis集群的那些谜
先说结论:==互通的;往Redis集群里存放一个数据时,他会以Hash Slot哈希槽的方式将数据存放在不同的结点,取出对应Key时,再连接到该结点去取出。== 在某一个结点上,查看结点上的Key,并get一个曾经set过的,但是并不存放此结点的Key,发现连接到了该结点,并成…
简单概括Redis(Remote Dictionary Server)基本功能
Redis事务的本质:一组命令的集合。 一个事务中的所有命令都会被序列化执行。 ==Redis的单条命令是保证原子性的,而事务不保证原子性。== 需要一定的时间间隔进程操作,如果Redis意外宕机了,则最后一次备份RDB文件之后的数据就丢失了。 Fork进程时,需要占用一定的内…
说一说 关于ZooKeeper与ZAB一致性算法
简述ZooKeeper的fastleaderelection选举leader的算法。 Zookeeper是一个高可用强一致的分布式协调服务,基于ZAB协议实现了一个主从一致的架构模式来保证数据的一致性。 Follower:负责存储数据,负责数据的读操作的节点。 崩溃恢复模式:在…
java引用类型及ThreadLocal内存泄漏
new出来的对象都为强引用对象。只要强引用的关系仍然存在,对象内存不会被gc回收。 通过SoftReference引用的对象。只要JVM内存空间不足后,软引用就会被gc回收。 通过WeakReference引用的对象。只要gc一进行,就会被回收。 通过PhantomRefere…
说一说 MySQL的锁机制(行锁、表锁、间隙锁、Next-Key Lock)
读锁:共享锁,多个读操作可以对同一份数据同时进行而不会互相影响。 写锁:排他锁,在写操作未完成之前,会阻止其他的写锁与读锁。 在进行SELECT 操作前,MyiSAM会给涉及到的表加读锁。这个时候其他Session可以正常对未加锁的表进行操作。但是对加了读锁的表,只能对其进行查…
下一页
个人成就
文章被点赞
33
文章被阅读
20,172
掘力值
491
关注了
7
关注者
6
收藏集
4
关注标签
6
加入于
2020-02-03