warrenchen

1.DataX的整体架构   主要分为三个部分，Reader，FrameWork，Writer 1.1 Reader   读数据库内容的插件，一个 job 会根据 json 配置文件调用 对应数据源的

创建外部表：仅记录数据所在的路径， 不对数据的位置做任何改变。 外部表只删除元数据，不删除数据。外部表相对来说更加安全，数据组织更加灵活，方便共享源数据。 4、外部表的删除，仅仅删除了表结构，数据仍存在于HDFS中。

本篇文章专门剖析JAVA Stream中collect操作，一起解锁更多高级玩法，让Stream操作真正的成为我们编码中的神兵利器。

浏览记录系统主要用来记录京东用户的实时浏览记录，并提供实时查询浏览数据的功能。在线用户访问一次商品详情页，浏览记录系统就会记录用户的一条浏览数据，并针对该浏览数据进行商品维度去重等一系

本人java开发，因此本文最适合从java转型到大数据。 大数据本质也是数据，但是又有了新的特征，包括数据来源广、数据格式多样化（结构化数据、非结构化数据、Excel文件、文本文件等）、数据量大（最少也是TB级别的、甚至可能是PB级别）、数据增长速度快等。 1.数据来源广，该如…

大家好，我是拭心。 几天前，我终于收到了一封心心念念的邮件： 邮件的意思是：我正式成为了一名 GDE！ 这封邮件来之不易，背后是半年多的准备、三次公开分享和两轮英文面试，我想有必要做一个总结

前言 前段时间我踩过一个坑：在mysql8的一张innodb引擎的表中，加了唯一索引，但最后发现数据竟然还是重复了。 到底怎么回事呢？ 本文通过一次踩坑经历，聊聊唯一索引，一些有意思的知识点。 1.还

为什么需要订单重试 ？订单重试的场景有哪些？本文将带你了解订单重试，并将这一过程做到自动化，尽量保障订单能够最终完成。

一个ip发请求过来，是一个ip对应一个线程吗？对于SpringBoot如何处理请求好像从来没仔细思考过，所以面试结束后就仔细研究了一番，现在就来探讨一下