StreamSets 重置管道状态——管道的数据记忆

396 阅读1分钟

StreamSets 的管道 在运行过程中,会记录某些组件的状态,那这会影响啥呢?

1、数据持久化

当你停止管道时, StreamSets会记录它停止位置时的处理组件的位置。当你重新启动管道时,它会从中断的地方继续。

有哪些组件会被保留状态呢?

以下是这些组件的列表:

  • Amazon S3
  • Azure Data Lake Storage Gen1
  • Azure Data Lake Storage Gen2
  • Directory
  • Elasticsearch
  • File Tail
  • Google Cloud Storage
  • Groovy Scripting
  • Hadoop FS Standalone
  • HTTP Client
  • JavaScript Scripting
  • JDBC Multitable Consumer
  • JDBC Query Consumer
  • Jython Scripting
  • Kinesis Consumer
  • MapR DB JSON
  • MapR FS Standalone
  • MongoDB
  • MongoDB Oplog
  • MySQL Binary Log
  • Salesforce
  • SAP HANA Query Consumer
  • SFTP/FTP/FTPS Client
  • SQL Server 2019 BDC Multitable Consumer
  • SQL Server CDC Client
  • SQL Server Change Tracking
  • Teradata Consumer
  • <