AMQP 协议是一个高级抽象层消息通信协议，RabbitMQ 是 AMQP 协议的实现。

Spring Batch 对批处理场景进行了合理的抽象，封装了大量的实用功能，使用它来开发批处理应用可以达到事半功倍的效果。

算法就是编程的灵魂，不会算法的程序员只配做码农。之前看到这句话受到一万点暴击伤害！同时也激起了自己的斗志，坦白说作为一个程序员，我一直知道算法的重要性，但是在算法这一块一直做的不够好，甚至除了大学学过这门课程之后就很少去接触它。因为一开始我就给算法贴上了难，烦，不怎么用的标签，…

1.2 真的要采用分库分表？ 2 全局ID生成策略 2.1 自动增长列 2.1.1 设置自增偏移和步长 2.1.2 全局ID映射表 2.2 UUID(128位) 2.3 COMB(组合) 2.4 Snowflake(雪花) 算法 3 分片策略 3.1 连续分片 3.3 ID取模…

我一直使用 JAVA 来写后端应用，平时也会关注一些国外技术大牛的博客，从而注意到了一些新的而且很有意思 Java 开源库，它们有些能给你的项目带来帮助，有些是以游戏的形式帮你提高 Java 的编程水平，而另一些则能够帮助你识别 JAVA 程序中的常见问题 。在这多达 330,000 个 JAVA 开源库中，我收集了下面这些或许也值得你一试的 Java 开源库。

如今微服务架构讨论的如火如荼。但在企业架构里除了大量的 OLTP 交易外，还存在海量的批处理交易。在诸如银行的金融机构中，每天有 3 - 4 万笔的批处理作业需要处理。针对 OLTP，业界有大量的开源框架、优秀的架构设计给予支撑；但批处理领域的框架确凤毛麟角。是时候和我们一起来了解下批处理的世界哪些优秀的框架和设计了，今天我将以 Spring Batch 为例，和大家一起探秘批处理的世界。

根据需求，从日志中解析出我们需要的信息，譬如可能有： 访问的系统属性： 操作系统、浏览器等等 访问特征：url、referer (从哪个url跳转过来的)、页面上的停留时间等 访问信息：session_id、访问ip(访问城市)等 SparkStatFormatJob.scal…

在最近的项目中，有一个需求是对一个很大的数据库进行查询，数据量大概在几千万条。但同时对查询速度的要求也比较高。 这个数据库之前在没有使用Presto的情况下，使用的是Hive，使用Hive进行一个简单的查询，速度可能在几分钟。当然几分钟也并不完全是跑SQL的时间，这里面包含发请…