小白都会用的低代码大数据ETL工具又来了

1,766 阅读3分钟

这是我参与更文挑战的第2天,活动详情查看: 更文挑战

StreamSets Data Collector TM是一种轻量级,功能强大的设计和执行引擎,可实时传输数据。使用数据收集器来路由和处理数据流中的数据。

1.低代码有图有真相

  • 简单可视化 在这里插入图片描述

  • 基于配置的组件 在这里插入图片描述 通过2可以配置组件参数。

  • 所见即所得的调试 在这里插入图片描述 调试期间,直接可以通过2查看每个组件的流入流出数据.

  • 运行期监视 在这里插入图片描述 通过2,3可以快速浏览统计数据。

  • 故障快照 在这里插入图片描述

  • 错误自动收集 在这里插入图片描述

2.安装下载

是不是想试试?,安装非常简单,只是国外资源下载较慢,我这里给大家已经准备好了下载的资源,大家可以收藏使用。 在这里插入图片描述

链接:https://pan.baidu.com/s/1Jh8fgZV7hUCpHV0LqGNn_A 
提取码:2lpd 

内含多种案例的构建教程. 在这里插入图片描述

3.安装步骤

当前版本:3.22.2 | 发行日期:2021年5月4日| ,据官方消息,4.0已经在开发中,目前的产品级版本必须安装在linux上,如果想尝试windows上,可以到官方下载测试版。

  1. 下载后准备环境。

  2. 下载并安装OpenJDK 8或Java 8 JDK。(您必须具有Java 8 JDK,而不是Java 8 JRE。)

  3. 打开终端,并将文件描述符限制设置为至少32768。

  4. 通过运行以下命令提取压缩包。 tar xvzf streamsets-datacollector-common-3.22.2.tgz

  5. 成功提取压缩包后,将文件夹更改为安装的根目录。 cd streamsets-datacollector-3.22.2

  6. 要启动Data Collector,请使用以下命令。 bin/streamsets dc

  7. 在浏览器中,输入终端窗口中显示的URL。(例如,http://10.0.0.100:18360)

  8. 如果您尚未登录帐户,则需要登录。

  9. 系统将要求您将数据收集器链接到您的帐户。

  10. 链接后,将安装StreamSets数据收集器。

4 愉快的玩耍

通过建立管道,你可以愉快的玩耍各种数据源和目标了.

亚马逊S3 亚马逊SQS消费者 Azure Data Lake Storage Gen1(不建议使用) Azure Data Lake Storage Gen2 Azure IoT /事件中心使用者 CoAP服务器 Cron Scheduler 目录 弹性搜索 文件尾 Google BigQuery 谷歌云存储 Google Pub / Sub订阅者 Groovy脚本 gRPC客户端 Hadoop FS独立版 HTTP客户端 HTTP服务器 JavaScript脚本编制 JDBC多表使用者 JDBC查询使用者 JMS消费者 Jython脚本 Kafka多主题消费者 运动消费者 MapR DB CDC MapR DB JSON MapR FS独立版 MapR Multitopic Streams消费者 MapR流消费者 MongoDB的 MongoDB Oplog MQTT订户 MySQL二进制日志 OPC UA客户端 Oracle批量加载 Oracle CDC客户端 PostgreSQL CDC客户端 脉冲星消费者 RabbitMQ消费者 Redis消费者 REST服务 销售队伍 SAP HANA查询使用者 SFTP / FTP / FTPS客户端 SQL Server 2019 BDC多表使用者 SQL Server CDC客户端 SQL Server更改跟踪 开始工作 系统指标 TCP服务器 UDP多线程源 UDP来源 WebSocket客户端 WebSocket服务器 Windows事件日志 Amazon S3 Azure Data Lake Storage Gen2 Azure Event Hub Producer Azure IoT Hub Producer Azure Synapse SQL Cassandra CoAP Client Couchbase Databricks Delta Lake Einstein Analytics Elasticsearch Flume (deprecated) Google BigQuery Google Bigtable Google Cloud Storage Google Pub/Sub Publisher Hadoop FS HBase Hive Metastore HTTP Client InfluxDB JDBC Producer JMS Producer Kafka Producer Kinesis Firehose Kinesis Producer Kudu Local FS MapR DB MapR DB JSON MapR FS MapR Streams Producer MongoDB MQTT Publisher Named Pipe Pulsar Producer RabbitMQ Producer Redis Salesforce Send Response to Origin SFTP/FTP/FTPS Client Snowflake Solr Splunk SQL Server 2019 BDC Bulk Loader Syslog To Error Trash WebSocket Client

5.小结

如果有使用上的问题,可以翻看我之前的教程系列.也可以随时问我哦!