数据采集

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 Logstash的介绍 Logstash管道有两个必需的元素，输入和输出，以及一个可选元素过滤器。输入插件从数据源那里消费数据，过滤器插件根据你的

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 Flume自带的度量报告 1. HTTP报告度量 实现HTTP的方式，当启动Agent时传递  -Dflume.monitoring.type=h

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 Configuration 1. 定义流程 要在一个agent中定义流程，需要通过一个channel将source和sink连接起来，需要给一个a

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 安装第三方插件  Flume有一个完全基于插件的架构。 虽然Flume带有许多开箱即用的源，通道，接收器，序列化器等，但存在许多与Flume分开发

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 测试官方例子 启动Flume进程 打开终端进行测试 Flume不写日志： 解决方案：  - . 在flume的安装下启动，包含Flume配置文件的

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 Flume的安装 Flume的安装  1. 安装Flume  2. 配置环境变量  3. 修改flume-env.sh的JAVA_HOME  4.

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 Flume组件的说明 Flume Source Source类型 说明 Avro Source 支持Avro协议（实际上是Avro RPC），内置

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 Flume的介绍 什么是Flume  可以理解flume是日志收集系统，Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 前言 在工作中使用DataX组件来封装Sink端写入Kafka中，在使用Schema注册器时遇到的问题。本人的另一篇博客，中所使用的方式在这种方式

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 1、版本信息 canal 1.4.1，目前所知1.5.1还没有修复 2、官方的默认配置 由图中可知官方在默认配置时开启了实例需要用户权限认证，由文

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 一、Oracle 数据开启日志归档 设置数据库归档模式 PDB设置 二、创建XStream Admin用户和连接器用户 Admin用户 连接器用户