首页
AI Coding
NEW
沸点
课程
直播
活动
AI刷题
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
确定删除此收藏集吗
删除后此收藏集将被移除
取消
确定删除
确定删除此文章吗
删除后此文章将被从当前收藏集中移除
取消
确定删除
编辑收藏集
名称:
描述:
0
/100
公开
当其他人关注此收藏集后不可再更改为隐私
隐私
仅自己可见此收藏集
取消
确定
大数据
订阅
Linn
更多收藏集
微信扫码分享
微信
新浪微博
QQ
5篇文章 · 0订阅
Hadoop 系列(六)—— HDFS 常用 Shell 命令
1. 显示当前目录结构 2. 创建目录 3. 删除操作 4. 从本地加载文件到 HDFS 5. 从 HDFS 导出文件到本地 6. 查看文件内容 7. 显示文件的最后一千字节 8. 拷贝文件 9. 移动文件 10. 统计当前目录下各文件大小 11. 合并下载多个文件 12. 统…
兄弟,用大白话告诉你小白都能看懂的Hadoop架构原理
Hadoop是目前大数据领域最主流的一套技术体系,包含了多种技术。 包括HDFS(分布式文件系统),YARN(分布式资源调度系统),MapReduce(分布式计算系统),等等。 有些朋友可能听说过Hadoop,但是却不太清楚他到底是个什么东西,这篇文章就用大白话给各位阐述一下。…
hadoop 伪分布式模式学习笔记
Hadoop在大数据技术体系中的地位至关重要,Hadoop是大数据技术的基础。 这是一篇记录我自己学习的文章,Hadoop的学习方法很多,网上也有很多学习路线图。 Hadoop是一个能够对海量数据进行分布式处理的系统架构。我采用的是hadoop-2.8.0,它主要包含3大块: …
目录:我的大数据学习笔记
可以通过长按二维码关注我的公众号,不过会先在掘金更新后同步过去。 PC端的这个右侧的目录找东西确实好找点,我每次写也非常注意看这块排版工不工整🤣,用这里去直接跳到对应的内容真的还算方便,所以就想着做个目录,以后如果写了新的,也会在这篇写上标题。 按照不同技术框架的划分形式。已…
Hive 入门
压缩:GZIP,LZO,Snappy,Bzip2... hive.exec.reducers.bytes.per.reducer 这个参数控制一个job会有多少个reducer来处理,依据的是输入文件的总大小。默认1GB。(即每个reduce任务处理的数据量。) hive.ex…