大数据

Hadoop安装修改hadoop-env.sh修改yarn-env.sh修改主要配置修改core-site.xml修改hdfs-site.xml修改yarn-site.xml修改mapred-site.本次利用云服务器搭建Hadoop集群， 在开始之前，你需要3台云服务器，可以在...

hdfs dfs -put [-f] <local src> ... hdfs dfs -moveToLocal <local src> ... 将文件从源路径移动到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件。将hdfs文件合...

配置文件修改修改core-site.xml修改hdfs-site.xml修改hadoop-env.格式化集群启动集群（启动全部：start-all.访问192.168.239.239:50070访问192.168.239.伪分布式模式也是只需要一台机器，但是与本地模式的不同，伪分...

伪分布式安装zookeeper上传安装包解压安装更名复制三份新建myid文件配置zoo.cfg文件配置zookeeper01的zoo.cfg配置zookeeper02的zoo.cfg文件配置zookeeper03的zoo.启动集群后台启动zookeeper01的zoo.cfg服务...

一. 环境变量的配置1.上传安装包2. 解压安装3. 更名4. 配置环境变量5. 二. 集群模式的配置1. 修改zoo.cfg文件2. 创建myid3. 一. 1.使用XFTP或者使用scp将安装包apache-zookeeper-3.6.3-bin.tar.2. tar -zx...

Hive的安装 Hive常用的安装分三种(注意：Hive会自动监测Hadoop的环境变量，如有就必须启动Hadoop) 先从本地上传Hive安装文件apache-hive-2.3.7-bin.tar.

Hive的安装 Hive常用的安装分三种(注意：Hive会自动监测Hadoop的环境变量，如有就必须启动Hadoop) 先从本地上传Hive安装文件apache-hive-2.3.7-bin.tar.

spark安装（伪分布安装） 上传文件 用xtfp上传文件至/root/softwares 配置文件 启动spark 到主节点spark的sbin下运行

sqoop安装部署 1 解压配置环境变量 2 设置sqoop环境变量 3 新建配置文件 4 修改配置文件 配置文件： 5 拷贝mysql驱动 6 验证安装： 7 Sqoop数据导出操作

前言 大数据时代，要进行数据分析，首先要有数据源，而学习爬虫，可以让我们获取更多的数据源，并且这些数据源可以按我们的目的进行采集，去掉很多无关数据。 一、什么是网络爬虫？ 网络爬虫是一个自动提取网页的