互联网的飞速发展促进了很多新媒体的发展，不论是知名的大V，明星还是围观群众都可以通过手机在微博，朋友圈或者点评网站上发表状态，分享自己的所见所想，使得“人人都有了麦克风”。不论是热点新闻还是娱乐八卦，传播速度远超我们的想象。如此海量的信息可以得到爆炸式的传播，如何能够实时的把握…

市场上的许多玩家已经建立了成功的MapReduce工作流程来每天处理以TB计的历史数据。但是谁愿意等待24小时才能获得最新的分析结果？这篇博文将向您介绍旨在利用批处理和流处理方法的Lambda架构。我们将利用Apache Spark（Core，SQL，Streaming），Ap…

前言 对于从事java开发工作的同学来说，Spring的事务肯定再熟悉不过了。 在某些业务场景下，如果一个请求中，需要同时写入多张表的数据。为了保证操作的原子性（要么同时成功，要么同时失败），避免数据

电商与新零售是目前大数据与AI应用最广泛的场景之一，本案例以跨国在线零售业务为背景，讲解使用pyspark对HDFS存储的数据进行交易数据分析的过程，并且对分析结果使用echarts做了可视化呈现。

背景 采购系统（BIP）在经历多年演进后，系统整体复杂度和数据量俨然已经极具规模，本文着重讨论海量数据的治理 存储现状：工程端实时订单库采用MySQL 5.5集群，其中主库配置为32C/48G/600

其实，关于写作，我也没多想，就是想着总结自己学习和工作中遇到的一些问题。我最开始写文章并不是在CSDN或者其他的一些博客平台，而是在QQ空间。那时的我还在上学，在QQ空间里写下了自己的第一篇原创文章《SQL注入攻击三部曲》。没错，你哥我最初就是搞渗透！ 后面，又开始持续写一些文…

最近我的需求都差不多做完了，我没事的时候会看看文档和代码，发现了一个关于数据量过大，对数据进行冷热数据分离方案，打算总结总结分享给大家。

上会讲到如何判断一个数据到底是冷数据还是热数据 以及如何触发冷热数据分离。今天继续学习：如何把冷热数据的分离具体落地。

数据冷热分离+归档-亿级表优化 背景 好久没有写文章了，因为特别忙也没有好的技术点给大家分享，索性暂时不写了。最近，在梳理系统的性能问题，尤其是营销自动化系统，数据体量越来越大了（8亿+，中途也在人工