CBC巛Aamir

1千万，2千万，或者上亿条数据？具体的答案不重要，当然肯定也不会是一个固定的数目，今天我们就一起来探讨探讨这个问题。 InnoDB是一种兼顾了高可靠性和高性能的通用存储引擎，它拥有诸多功能和特性，体系结构和工作原理也比较复杂。真要讲明白说透彻，不是一两篇博文能够实现的，也不是今…

mall项目中的商品搜索功能，一直都没有做实时数据同步。最近发现阿里巴巴开源的canal可以把MySQL中的数据实时同步到Elasticsearch中，能很好地解决数据同步问题。今天我们来讲讲canal的使用，希望对大家有所帮助！ canal主要用途是对MySQL数据库增量日志…

最近小宋和他的主管说，他快干不下去了。诸事不顺，做什么事都有人百般阻挠。知道这个消息的我，非常的高兴。小宋有着良好的职业素养，看问题通常一针见血。 他要是走了，就等于我砍掉了王总的一条胳膊。 我可以再透露一下被我折磨疯的小胡。小胡是张总的人，但和我的工作也有交集。 有一天，我发…

Kettle是 “KETTLE E.T.T.L. ENVIRONMENT”只取首字母的缩写，这意味着它被设计用来帮助你实现ETTL的需要：抽取、转换、装入和加载数据。中文名称叫水壶，正如该项目的主程序员Matt在一个论坛里说的那样：希望把各种数据放到一个壶里然后以一种指定的格式…

最近经常用到 Pandas 来对 Excel 文件进行操作。 所以，在这里简单记录下自己平时用到的处理过程。 这里为了简单仅准备了两个 Excel 文件，内容也超级简单。 每个 Excel 文件中，也仅是简单地弄了两个 Sheet：语文和数学。 本代码，是针对多个sheet的，…

从官网上下载好 Kettle 后，只需解压即可。 解压后，得到data-integration 文件夹。进入，点击 Spoon.bat 脚本文件。 此时，如果你的电脑上之前没有配置过 JDK ，那么程序会报错。记得运行前一定要配置 Java 的软件开发工具包，这也是使用 Ket…

相信大家都有使用各种软件工具的经验，对菜单栏的一些功能作用，都有些大致的了解，Spoon和他们也没有大致的区别。为了避免显得啰嗦，接下仅对部分选项进行必要的说明。 退出。 设置环境变量、显示环境变量、编辑kettle.properties文件：这三个选项均与环境变量有关。设置和…

这里有两种选择，即Transformation和Job。 双击相应的图标，就会立即创建一个转换或者作业文件，打开工作区且该区域切换为核心对象，以方便你进行下面的设计工作。而主对象树将以目录树的形式展示转换或者作业的各种信息。 新建一个转换后，你的主对象树将展现为下面这样子。 H…