最近在做项目的时候，遇到了一些大数据量的操作，有大批量的CRUD的操作，一开始的实现的方案经过性能测试，发现性能并不是很好，然后开始审查代码，对相关可以提升性能的操作进行了优化，这里分享给大家。 发现了没有，还是用in，而且执行时间几乎与单条查询的时间一样，可见只是单一这一部分…

写于20210618 21:00 北京望京 一条记录update一次，性能比较差，容易造成阻塞。基于 mybatis 批量更新，特此记录。 微信搜：JavaPub ，有疑惑留言。 @[toc] 1.场

本文主要记录一次update……select操作，适用于sql操作小白。 应用场景：由于甲方需求变更，数据库表里增加了一个统计字段或者统计字段的计算逻辑发生了变化，导致统计字段的值需要更新或者重新计算

本文正在参加「金石计划」 前段时间，博主线上项目的几个后端接口执行耗时达到了三、四秒钟以上，查看接口代码，发现 sql 语句执行过慢，于是开始分析 sql 执行 这里把比较经典的优化案例分享给大家。

一次生产环境数据库死锁问题排查与解决。解决方案比较简单，但为什么发生死锁想了很久，最终通过实践模拟真实数据，实时查看sql执行后数据库锁情况和sql执行计划才搞清楚。

昨天中午在食堂，和部门的技术大牛们坐在一桌吃饭，作为一个卑微技术渣仔默默的吃着饭，听大佬们高谈阔论，研究各种高端技术，我TM也想说话可实在插不上嘴。 当Explain 与 SQL语句一起使用时，MySQL 会显示来自优化器关于SQL执行的信息。也就是说，MySQL解释了它将如何…

在将基于批处理的ETL迁移到流式处理的过程中，需要考虑很多因素，并做出很多权衡。不能只是因为流式处理技术的流行而将所有东西都使用流来处理。 这篇文章的案例来自Netflix，他们使用Apache Flink代替原有的批处理系统。之所以选择Flink，是因为他们需要实时的事件…

前言 随着大数据时代的快速发展，企业每天需要存储、计算、分析数以万亿的数据，同时还要确保分析的数据具备及时性、准确性和完整性。面对如此庞大的数据体系，ETL工程师（数据分析师）如何能高效、准确地进行计

以上共计累积了8种ETL算法，其中主要分成4大类，增量累加、拉链算法是更符合数据仓库历史数据追踪的算法，但现实中基于业务及性能考虑，往往存在全删全插、增量累全算法的数据表应用。 主要应用在维表、参数表、主档表加载上，即适合源表是全量数据表，该数据表业务逻辑只需保存当前最新全量数…