Angryshark128

查看是否开启 修改配置文件 查看是否开启 show variables like '%log_bin%';

数据爬取 前期分析 通过浏览器Network分析出以下API： 获取首页全部标签 https://api.juejin.cn/tag_api/v1/query_category_briefs 子级标签

表达能力 MapReduce需要将所有计算转换为Map和Reduce，难以描述复杂处理过程； Spark除Map和Reduce外，还支持RDD/DataFrame/DataSet等多种数据模型操作，编

``` /** * 监控指定文件目录 * * dirPath 指定目录路径 **/ public boolean watchDirectory(String dirPath) { // 判断要监控的目

源服务器&目的服务器 是否安装rsync 源服务器 是否支持安装inotify 安装inotify 配置密码文件 编写同步脚本 目的服务器 配置密码文件 配置启动文件 root用户启动 测试 源服务器

背景 技术社区里有不少优秀的技术大佬，创作了很多的技术文章，获得了很多同行的浏览、关注和点赞，抛开个人技术方向，于我们而言，应该如何才能写出热款爆文呢，是写艰深难懂的深度分析，还是写小白能懂的入门文章

问题描述 在使用Scala/Java进行Spark项目开发过程中，常涉及项目构建和打包上传，因项目依赖Spark基础相关类包一般较大，打包后若涉及远程开发调试，每次打包都消耗多很多时间，因此需对此过程

参数设置方法 Spark任务在提交时，可以通过以下几种方式进行参数设置： 环境变量 通过配置文件spark-env.sh添加，如 这种参数设置是全局的，并不适合所有任务，因而可以当作默认的来使用

include可以用在任何地方，前提是include的文件自身语法正确。 include文件路径可以是绝对路径，也可以是相对路径，相对路径以nginx.conf为基准，同时可以使用通配符。