艳烔

模拟集群崩溃 假设我们hadoop安装文件中的data文件夹一不小心删除了, 在hadoop103上也不小心把data文件夹删除了 那么现在我们在集群上的文件是否能够下载下来? 通过操作,我们能够下载

配置workers 将workers分发到其他机器上 启动集群 格式化NameNode 如果集群是第一次启动，需要在 hadoop102 节点格式化 NameNode（注意：格式化 NameNode，

集群部署规划 注意： ➢ NameNode 和 SecondaryNameNode 不要安装在同一台服务器 ➢ ResourceManager 也很消耗内存，不要和 NameNode、Secondar

使用pipeline 从pipeline的字典形可以看出来，pipeline可以有多个，⽽且确实pipeline能够定义多个 为什么需要多个pipeline： 可能会有多个spider，不同的pipe

为什么要学习Scrapy 什么是Scrapy Scrapy是⼀个为了爬取⽹站数据，提取结构性数据⽽编写的应⽤框架，我们只需要实现少量的代码，就能够快速的抓取 Scrapy使⽤了Twisted异步⽹络框

配置SSH 基本语法: SSH连接时出现Host key verification failed的解决方法 如果出现以下内容, Are you sure you want to continue co

进程和程序 进程:正在执行的程序 程序:没有执行的代码,是一个静态的 进程的状态 使用进程实现多任务 multiprocessing模块就是跨平台的多进程模块,提供了一个Process类来代表一个进程

Hadoop 官方网站：http://hadoop.apache.org 根据官网的说明: Hadoop在GNU/Linux作为开发和生产平台受到了支持。 必须安装Java 如果要使用可选的启动和停止

在hadoop102 安装JDK 用XShell传输工具将JDK导入到opt目录下面的software文件夹下面 JDK安装 解压JDK安装包 查看文件 配置环境变量 我们在文件中可以查看到: 这段代