聆听金生

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 开发API参考 外部API Sqoop通过配置自动生成把关系型数据库导入Hadoop系统的类。该类包含导入Hadoop的每个字段。该类的实例保存表

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 JVM 参数调优 步骤: 在 添加打印 GC 日志的参数:spark.executor.extraJavaOptions=-verbose:gc

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 Spark 内存调优以及 JVM 调优 目前Spark使用的内存管理模型有两个,分别是: StaticMemoryManager UnifiedM

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 Flume自带的度量报告 1. HTTP报告度量 实现HTTP的方式，当启动Agent时传递  -Dflume.monitoring.type=h

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 Configuration 1. 定义流程 要在一个agent中定义流程，需要通过一个channel将source和sink连接起来，需要给一个a

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 安装第三方插件  Flume有一个完全基于插件的架构。 虽然Flume带有许多开箱即用的源，通道，接收器，序列化器等，但存在许多与Flume分开发

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 测试官方例子 启动Flume进程 打开终端进行测试 Flume不写日志： 解决方案：  - . 在flume的安装下启动，包含Flume配置文件的

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 Flume的安装 Flume的安装  1. 安装Flume  2. 配置环境变量  3. 修改flume-env.sh的JAVA_HOME  4.

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 Flume组件的说明 Flume Source Source类型 说明 Avro Source 支持Avro协议（实际上是Avro RPC），内置