Angryshark128

查看是否开启 修改配置文件 查看是否开启 show variables like '%log_bin%';...

数据爬取 前期分析 通过浏览器Network分析出以下API： 获取首页全部标签 https://api.juejin.cn/tag_api/v1/query_catego...

表达能力 MapReduce需要将所有计算转换为Map和Reduce，难以描述复杂处理过程； Spark除Map和Reduce外，还支持RDD/DataFrame/Data...

``` /** * 监控指定文件目录 * * dirPath 指定目录路径 **/ public boolean watchDirectory(String dirPath...

源服务器&目的服务器 是否安装rsync 源服务器 是否支持安装inotify 安装inotify 配置密码文件 编写同步脚本 目的服务器 配置密码文件 配置启动文件 ro...

背景 技术社区里有不少优秀的技术大佬，创作了很多的技术文章，获得了很多同行的浏览、关注和点赞，抛开个人技术方向，于我们而言，应该如何才能写出热款爆文呢，是写艰深难懂的深度分...

问题描述 在使用Scala/Java进行Spark项目开发过程中，常涉及项目构建和打包上传，因项目依赖Spark基础相关类包一般较大，打包后若涉及远程开发调试，每次打包都消...

参数设置方法 Spark任务在提交时，可以通过以下几种方式进行参数设置： 环境变量 通过配置文件spark-env.sh添加，如 这种参数设置是全局的，并不适合所有任务，因...