首页
首页
AI Coding
NEW
沸点
课程
直播
活动
AI刷题
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
Michaelhbjian
掘友等级
数据仓库研发工程师
|
DXM
Keep Calm and Carry On
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
73
文章 65
沸点 8
赞
73
返回
|
搜索文章
最新
热门
python argparse基本用法总结
上面的代码段中,我们显示引入了argparse包,然后通过argparse.ArgumentParser函数生成argparse对象,其中这个函数的description函数表示在命令行显示帮助信息的时候,这个程序的描述信息。之后我们通过对象的add_argument函数来增加…
数据库重点知识点-锁
在Mysql中的锁看起来是很复杂的,因为有一大堆的东西和名词:排它锁,共享锁,表锁,页锁,间隙锁,意向排它锁,意向共享锁,行锁,读锁,写锁,乐观锁,悲观锁,死锁。这些名词有的博客又直接写锁的英文的简写:X锁,S锁,IS锁,IX锁,MMVC… 锁的相关知识又跟存储引擎,索引,事务…
数据库重点知识点-索引
Mysql支持Hash索引和B+树索引两种。 …….. 以其他列(非主键)作为搜索条件:只能从最小记录开始依次遍历单链表中的每条记录。 其实底层结构就是B+树,B+树作为树的一种实现,能够让我们很快地查找出对应的记录。 B+树是平衡树的一种。 B+树是平衡树的一种,是不会退化成…
转MySQL设计规范(重点)
4、所有存储相同数据的列名和列类型必须一致(一般作为关联列,如果查询时关联列类型不一致会自动进行数据类型隐式转换,会造成列上的索 引失效,导致查询效率降低)。 没有特殊要求(即Innodb无法满足的功能如:列存储,存储空间数据等)的情况下,所有表必须使用Innodb存储引擎(m…
流式计算准确性语义分析
Distributed event stream processing has become an increasingly hot topic in the area of Big Data. Notable Stream Processing Engines (SPEs) …
Hadoop YARN 架构详解
YARN是MRv1基础上演化而来的,克服了MRv1中的各种局限性。在正式的介绍YARN之前,我们先要了解MRv1的一些局限性,这可概括为以下几个方面: 扩展性差:在MRv1中,JobTracker同时兼备了资源管理和作业控制两个功能,这个成为系统的一个最大瓶颈,严重制约了Had…
HDFS单点故障和线性扩展问题
水平扩展问题,随着集群规模的扩大,1.0 时集群规模达到3000时,会导致整个集群管理的文件数目达到上限(因为 NameNode 要管理整个集群 block 元信息、数据目录信息等)。 2、NameNode Federation:是用来解决 HDFS 集群的线性扩展能力。 关于…
HDFS的基本概念和体系结构
NameNode是Apache Hadoop HDFS体系结构中的主节点,用于维护和管理DataNode(从节点)上存在的块。NameNode是一个非常高可用性的服务器,用于管理文件系统命名空间并控制客户端对文件的访问。HDFS体系结构的构建方式使用户数据永远不会驻留在Name…
HDFS的读写机制
下图显示了在读取HDFS上的文件时,客户端、名称节点和数据节点间发生的一些事件以及事件的顺序。 假设系统块大小配置为128 MB(默认)。因此,客户机将把example.txt文件分成两个块,一个是128 MB(块A),另一个是120 MB(块B)。 The NameNode …
Spark Shuffle的基本原理分析
Certain operations within Spark trigger an event known as the shuffle. The shuffle is Spark’s mechanism for re-distributing data so that it…
下一页
个人成就
文章被点赞
41
文章被阅读
46,960
掘力值
858
关注了
91
关注者
31
收藏集
10
关注标签
40
加入于
2016-07-29