欧闻

有一个需求需要将前端传过来的10张照片，然后后端进行处理以后压缩成一个压缩包通过网络流传输出去。之前没有接触过用Java压缩文件的，所以就直接上网找了一个例子改了一下用了，改完以后也能使用，但是随着前端所传图片的大小越来越大的时候，耗费的时间也在急剧增加，最后测了一下压缩20M…

Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。Flume可以采集文件，socket数据包、文件、文件夹、kafka等各种形式源数据，又可以将采集到的数据(下沉sink)输出到HDFS、hbase、hive、kafka等众多外部存储系统中。 对于一般的采…

“数据智能” (Data Intelligence) 有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司…

什么是B+树索引，很多人在面试的时候总是被问到，也有很多人是说不清楚的。其根本原因是没有去研究问题本身什么是B+树索引，而是简单只是去背书上或别人博客里列出的特性列表。 要回答什么是B+树，首先需要什么是B树索引（也有被翻译成B-树了，其实2个是一回事，之所以会被翻译成B-树，…

Elasticsearch是一个非常强大的搜索引擎。它目前被广泛地使用于各个IT公司。Elasticsearch是由Elastic公司创建并开源维护的。它的开源代码位于 https://github.com/elastic/elasticsearch。 同时，Elastic公司…

我负责的有几个系统随着业务量的增长，存储在MySQL中的数据日益剧增，我当时就想现在的业务方不讲武德，搞偷袭，趁我没反应过来把很多表，很快，很快啊都打到了亿级别，我大意了，没有闪，这就导致跟其Join的表的SQL变得很慢，对的应用接口的response time也变长了，影响了…

Zookeeper 是一个分布式服务框架，主要是用来解决分布式应用中遇到的一些数据管理问题如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。 我们可以简单把 Zookeeper 理解为分布式家庭的大管家，那么管家团队是如何选出Leader的呢？好奇吗，接下来带…

数据库字段允许空值，会遇到一些问题，此处包含的一些知识点，和大家聊一聊。 id 为索引，非唯一 (non unique)，允许空 (null)。 知识点 1（热身）： 负向查询不能命中索引，会导致全表扫描。 知识点 2（划重点）： 允许空值，不等于 (!=) 查询，可能导致不符…