艳烔

Scrapy shell是⼀个交互终端，我们可以在未启动spider的情况下尝试及调试代码，也可以⽤来测试XPath表达式 Scrapy Shell 使用方法 在power...

Overridden settings（覆盖的设置） ： Scrapy允许用户通过配置文件或代码来覆盖默认的设置。在日志中，"[scrapy.utils.log] INFO...

在软件开发的世界里，版本控制系统（VCS）是不可或缺的工具。它不仅帮助开发者追踪代码的变化历史，还促进了团队协作和项目管理。随着技术的不断发展，版本控制系统也经历了从集中式...

HDFS产出背景及定义 HDFS产出背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统...

防火墙没关闭,或者没有启动YARN 主机名称配置错误 IP地址配置错误 ssh 没有配置好 root 用户和 muyi 两个用户启动集群不统一 配置文件修改不细心 不识别主...

今天我想和大家分享我的今年的第一个开源项目 —— 基于语雀+Vercel实现免费的博客系统。 简单来说，你在语雀写博客，然后直接一键同步到个人网站上，网站自动部署！...

常用端口号说明 端口名称 Hadoop2.x Hadoop3.x NameNode 内部通信端口 8020 / 9000 8020 / 9000 /9820 NameNod...

集群启动/停止方式总结 各个模块分开启动/停止 (配置ssh 是前提) 常用 整体启动/停止 HDFS 整体启动/停止YARN 各个服务组件逐一启动/停止 分别启动/停止 ...

宿主机：Windows 11 虚拟机：VMware Pro 17 hadoop版本: 3.1.3 问题描述 在我编写了一个hadoop启停脚本并使用它时,在启动过程中出现了...

简单示例 Scrapy 是一个用于网络爬虫的 Python 框架，它可以帮助开发者快速编写爬虫程序来抓取网页内容。在 Scrapy 中，Item 是一种容器，用来保存从网页...

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到 HDFS 系统上。 日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。 注意：开启日志聚集功能，需要重...

Hadoop集群中配置历史服务器（History Server）的原因主要有以下几点： 日志记录和分析：历史服务器可以存储和展示集群运行过程中的日志信息，这对于监控、分析和...

Scrapy爬虫流程 问题: 如何实现翻页 爬取某网站尝试 创建项目 生成一个爬虫 更换start_urls 这样就可以实现url的翻页功能了 发送请求 启动程序,就可以获...

Scrapy内置了强大的日志功能，可以帮助开发者跟踪爬虫的行为、调试问题以及记录重要信息。Scrapy的日志系统基于Python的标准logging模块，但提供了一些额外的...

模拟集群崩溃 假设我们hadoop安装文件中的data文件夹一不小心删除了, 在hadoop103上也不小心把data文件夹删除了 那么现在我们在集群上的文件是否能够下载下...

配置workers 将workers分发到其他机器上 启动集群 格式化NameNode 如果集群是第一次启动，需要在 hadoop102 节点格式化 NameNode（注意...

集群部署规划 注意： ➢ NameNode 和 SecondaryNameNode 不要安装在同一台服务器 ➢ ResourceManager 也很消耗内存，不要和 Nam...

使用pipeline 从pipeline的字典形可以看出来，pipeline可以有多个，⽽且确实pipeline能够定义多个 为什么需要多个pipeline： 可能会有多个...

为什么要学习Scrapy 什么是Scrapy Scrapy是⼀个为了爬取⽹站数据，提取结构性数据⽽编写的应⽤框架，我们只需要实现少量的代码，就能够快速的抓取 Scrapy使...

配置SSH 基本语法: SSH连接时出现Host key verification failed的解决方法 如果出现以下内容, Are you sure you want ...