FileRead组件

组件说明

从文件系统读取。

计算引擎

flink

组件分组

file

端口

Inport：默认端口

outport：默认端口

组件属性

名称	展示名称	默认值	允许值	是否必填	描述	例子
path	path	""	无	是	文件路径。	hdfs://server1:8020/flink/test/text.txt
format	format	""	Set("json", "csv", "avro", "parquet", "orc", "raw", "debezium-json", "canal-json")	是	文件系统连接器支持format。	json
tableDefinition	TableDefinition	""	无	是	Flink table定义。
properties	PROPERTIES	""	无	否	连接器其他配置。

FileRead示例配置

{
  "flow": {
    "name": "FileReadTest",
    "uuid": "1234",
    "stops": [
      {
        "uuid": "1111",
        "name": "FileRead",
        "bundle": "cn.piflow.bundle.flink.file.FileRead",
        "properties": {
          "path": "src/test/resources/file/user.csv",
          "format": "csv",
          "tableDefinition": "{\"catalogName\":null,\"dbname\":null,\"tableName\":\"\",\"ifNotExists\":true,\"physicalColumnDefinition\":[{\"columnName\":\"name\",\"columnType\":\"STRING\",\"comment\":\"name\"},{\"columnName\":\"age\",\"columnType\":\"INT\"}],\"metadataColumnDefinition\":null,\"computedColumnDefinition\":null,\"watermarkDefinition\":null}",
          "properties": "{'csv.field-delimiter':',','csv.ignore-parse-errors':'true'}"
        }
      },
      {
        "uuid": "2222",
        "name": "ShowData1",
        "bundle": "cn.piflow.bundle.flink.common.ShowData",
        "properties": {
          "showNumber": "100"
        }
      }
    ],
    "paths": [
      {
        "from": "FileRead",
        "outport": "",
        "inport": "",
        "to": "ShowData1"
      }
    ]
  }
}

示例说明

本示例演示了通过FileRead从本地文件user.csv中读取内容，然后使用ShoData组件将数据打印在控制台。

演示DEMO