首页
AI Coding
NEW
沸点
课程
直播
活动
AI刷题
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
大数据
sparename
创建于2022-10-08
订阅专栏
有关大数据竞赛,大数据专业知识
暂无订阅
共10篇文章
创建于2022-10-08
订阅专栏
默认顺序
默认顺序
最早发布
最新发布
搭建Hadoop集群(超详细版)
Hadoop安装修改hadoop-env.sh修改yarn-env.sh修改主要配置修改core-site.xml修改hdfs-site.xml修改yarn-site.xml修改mapred-site.本次利用云服务器搭建Hadoop集群, 在开始之前,你需要3台云服务器,可以在...
HDFS命令行使用
hdfs dfs -put [-f] <local src> ... hdfs dfs -moveToLocal <local src> ... 将文件从源路径移动到目标路径。这个命令允许有多个源路径,此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件。将hdfs文件合...
伪分布搭建hadoop
配置文件修改修改core-site.xml修改hdfs-site.xml修改hadoop-env.格式化集群启动集群(启动全部:start-all.访问192.168.239.239:50070访问192.168.239.伪分布式模式也是只需要一台机器,但是与本地模式的不同,伪分...
伪分布安装zookeeper
伪分布式安装zookeeper上传安装包解压安装更名复制三份新建myid文件配置zoo.cfg文件配置zookeeper01的zoo.cfg配置zookeeper02的zoo.cfg文件配置zookeeper03的zoo.启动集群后台启动zookeeper01的zoo.cfg服务...
伪分布式安装zookeeper(在一台机器上运行三个zk服务)
一. 环境变量的配置1.上传安装包2. 解压安装3. 更名4. 配置环境变量5. 二. 集群模式的配置1. 修改zoo.cfg文件2. 创建myid3. 一. 1.使用XFTP或者使用scp将安装包apache-zookeeper-3.6.3-bin.tar.2. tar -zx...
Hive的安装
Hive的安装 Hive常用的安装分三种(注意:Hive会自动监测Hadoop的环境变量,如有就必须启动Hadoop) 先从本地上传Hive安装文件apache-hive-2.3.7-bin.tar.
Hive的安装(改进版)
Hive的安装 Hive常用的安装分三种(注意:Hive会自动监测Hadoop的环境变量,如有就必须启动Hadoop) 先从本地上传Hive安装文件apache-hive-2.3.7-bin.tar.
spark安装(伪分布安装)
spark安装(伪分布安装) 上传文件 用xtfp上传文件至/root/softwares 配置文件 启动spark 到主节点spark的sbin下运行
Sqoop安装部署
sqoop安装部署 1 解压配置环境变量 2 设置sqoop环境变量 3 新建配置文件 4 修改配置文件 配置文件: 5 拷贝mysql驱动 6 验证安装: 7 Sqoop数据导出操作
python爬虫
前言 大数据时代,要进行数据分析,首先要有数据源,而学习爬虫,可以让我们获取更多的数据源,并且这些数据源可以按我们的目的进行采集,去掉很多无关数据。 一、什么是网络爬虫? 网络爬虫是一个自动提取网页的