dust1

由于我是边读边记录，所以几乎没有整理，都只是零散的知识点和设计要点。 GFS中将组件的故障设置为常态，因此设计需求要在常态的组件故障中保障应用程序服务能继续可用。因此，系统中的持续监控，错误检测，容错和自动恢复都是必须的。 2.存储几百万个100M左右的文件，因此需要适量的存储…

最近在编写项目的时候使用while遇到了一个奇怪的问题。我在使用异步调用的时候主线程某一个方法需要等待异步返回才能被调用，因此我设定了一个boolean，当异步返回时修改条件然后在主线程的方法中加入while来长时间遍历以等待异步返回。 Task启动后会在while中死循环，主…

最近在做毕设。今天涉及到一个关于文件的拆分后发送给不同的服务器存储，然后后续合并的问题。这里我发现了一个有趣的问题。 这里我把缓冲区设置为1K，实际上设计多少都没问题，只要缓冲区不是根据文件传输的流进行实时计算且整除文件需要传输的流的话。 缓冲区会将文件流分成一块一块发送给对应…

MapReduce是一种分布式计算模型，是Google提出的，主要用于搜索领域，解决海量数据的计算问题。 MR有两个阶段组成：Map和Reduce，用户只需实现map()和reduce()两个函数，即可实现分布式计算。 这里我将其中的数据导出为csv文件。 在这个例子中，我要做…

Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础。 这是一篇记录我自己学习的文章，Hadoop的学习方法很多，网上也有很多学习路线图。 Hadoop是一个能够对海量数据进行分布式处理的系统架构。我采用的是hadoop-2.8.0,它主要包含3大块： …

Stream的操作分为中间操作和终端操作。 由于stream的延迟性，中间操作相当于“我打算要进行这个操作，但是现在先不急着操作。”例如filter,sort,limit等。 终端操作:执行流的所有中间操作并且关闭流，使得流无法被复用。 中间操作是对流中元素的一种操作，这个操作…

在java 1.8中，Collection新增了一个default方法stream(),他可以将集合转换成流，那么这节我将会深入源码看看具体过程是如何。 该方法调用了StreamSupport.stream方法，在前面我分析了StreamSupport的这个方法的执行步骤，该方…

上一篇文章查看了jdk关于Stream流的创建，其中用于数据保存的便是Spliterator，这篇文章将会对Spliterator的源码进行查看，来看看在流中的数据是如何存储的。 这就是嵌套接口。这几个子类通过继承来扩展接口。在《thinking in java》一书对这个方法…

这种做法，但是让我困扰的是如何不重复。 但是这里有问题了，当参数为int[] nums = {-4, -2, -2, -2, 0, 1, 2, 2, 2, 3, 3, 4, 4, 6, 6}时，前几个组合分别是[-4, -2, 6], [-4, 0, 4], [-4, 1, 3…