未完待续...
记录一次数据迁移操作经历
使用工具 Kettle(Spoon)
版本 7.1(此次操作使用版本)
下载地址(国内镜像) : mirror.bit.edu.cn/pentaho/Dat…
版本 8.1(版本高 但并不确定会更好用):
mirror.bit.edu.cn/pentaho/Pen…
解压完 点进去 图中目录 最下面找到 命令 双击启动
启动完成之后 再关掉......对 就是关闭 只是试一下能不能打开 - -
找到图中这个目录, 需要加入连接包 如下图所示 目录是lib 连接MySQL的和连接Oracle的(有一个需要注意的地方 就是版本问题,参考项目里面的数据库版本使用的jar包版本,相同的话不用去到处找下载链接,去自己的maven仓库里面复制一个就可用了)
弄好之后重新再启动
开始导数据之前肯定是建立数据库连接
IP 库名 端口 用户名 密码 点击测试 连接成功的样子👇
在这里直接把配置一起改了吧 数据导入导出肯定关注的是速度问题 不改配置的话 每秒大概10条数据 (自己的笔记本,不是在服务器上面运行的软件 笔记本配置 i5-8265U 12G内存)
改完配置之后每秒1000-2000范围内波动(百度过配置, 看别人晒图每秒几天几万的都有,羡慕~,可能服务器配置更好,然后会配置连接池)
贴一下我使用的配置 还是连接数据库的那个页面 点击选项
Oracle和MySQL的是不一样的 可以尝试继续调大数字看看传输的速度的变化
内容:
MySQL:
defaultFetchSize 5000
rewriteBatchedStatements true
useServerPrepStmts false
useCursorFetch true
useCompression true
Oracle:
defaultFetchSize 10000
cachePrepStmts true
useServerPrepStmts true
useCursorFetch true
