数据迁移
8篇文章 · 0订阅
  • 数据批处理神器-Spring Batch(1)简介及使用场景
    最近使用Spring Batch进行做数据迁移、数据同步、数据批处理等工作，感叹Spring Batch设计之简洁，对批处理编程的抽象能力之强大。 众所周知，随着大数据技术发展，企业对数据越来越重视，如何把数据有效转化为信息，以帮助企业提供数据分析、商业决策、提高核心竞争力。而…
    Spring
  • Spring Batch 入门
    从数据库，文件或队列中读取大量记录。 以某种方式处理数据。 从字面上可以理解为“任务仓库”。如果把一个批处理比作一个任务的话，这个仓库存储了许多这种任务。JobRepository 奇特的一个点就是，它会将任务，包括其状态等等数据持久化，存储到数据库中，比如生成如下所示的很多表…
    Spring Boot
  • Spring Batch 读 10 万条记录，写到 MongoDB
    实践内容从MariaDB一张表内读10万条记录，经处理后写到MongoDB。具体实现1、新建SpringBoot应用，依赖如下：2、创建一张表，并生成10万条数据3、创建Person类4、创建一个中间
    Spring Boot
  • 使用Logstash解析日志
    在存储你的第一个事件一节中，我们创建了一个简单的Logstash管道示例来测试你已安装运行的Logstash。在生产环境中，Logstash管道会非常复杂：一般包含一个或多个输入，过滤器，输出插件。 在本章节，你将创建一个Logstash管道：Filebeat采集Apache …
    Logstash
  • 跨库数据迁移利器 —— Sqoop
    1. 查看所有命令 2. 查看某条命令的具体使用方法 1. 查询MySQL所有数据库 2. 查询指定数据库中所有数据表 1. 导入命令 示例：导出 MySQL 数据库中的 help_keyword 表到 HDFS 的 /sqoop 目录下，如果导入目录存在则先删除再导入，使用 …
    大数据
  • 不停服! 怎么迁移数据
    数据迁移时, 为了保证数据的一致性, 往往伴随着停服, 此期间无法给用户提供服务或只能提供部分服务. 同时, 为了确保迁移后业务及数据的正确性, 迁移后测试工作也要占用不少时间. 如此造成的损失是比较大的. 接下来, 本文将就如何在不停服的情况下进行数据迁移进行探讨. 伴随着业…
    Java
    不停服! 怎么迁移数据
  • mongo同步-spring batch(8)的mongo读写组件使用
    除了文件及关系型数据库的数据同步，Spring Batch的读组件(ItemReader)，处理组件(ItemProcessor)，写组件(ItemWriter)支持丰富的数据类型，其中MongoItemReader及MongoItemWriter是针对mongo的读写组件，用…
    Spring
  • [英] 卫报团队告诉你他们是如何完善地从 Mongo 迁移到 Postgres 数据库
    In April the Guardian switched off the Mongo DB cluster used to store our content after completing a migration to PostgreSQL on Amazon RDS. This post covers why and how
    运维 数据库 MongoDB
    [英] 卫报团队告诉你他们是如何完善地从 Mongo 迁移到 Postgres 数据库