Transwarp组件Trasporter工具数据抽取

1,297 阅读1分钟

1、当将inceptor的IDAP安全认证开启之后,transporter组件不能启动,参看日志文件/var/log/transporter1/发现是无法连接数据库,用户名密码错?不是,是没有开配置项里的IDAP模式,将tdt-site.xml配置里的

<property>
  <name>tdt.inceptor.auth.mode</name>
  <value>NONE</value>
</property>

改成IDAP,需要底层改,不能直接在界面上更改 改完之后还是不能成功,需要开启inceptor和transporter的kerberos认证

开启认证又遇到了问题,transwarp不能开单组件的安全认证,最后我们只能一键全开kerberos认证

2、用jdbcreader连接oracle数据库,jdbc bunch接收

报错 Task MAPRED-SPARK error SparkException: [Error 1] Job aborted due to stage failure: Task 0 in stage 17.0 failed 4 times, most recent failure: Lost task 0.3 in stage 17.0 (TID 16, 10.10.12.210): java.lang.RuntimeException: Exception found during closeOp. See more detail on executor log. SQLState: 08S01

已知的版本问题:数据类型decimal不能为空,为空就报错,将目标表的数据格式改成了double,测试成功