lois在前往梦想的路上

很多情况大数据集群需要获取业务数据，用于分析。通常有两种方式： 第一种可以是在业务中编写代码，将觉得需要发送的数据发送到消息队列，最终落地到大数据集群。 第二种则是通过数据同步的方式，将关系型数据同步到大数据集群，可以是存储在 hdfs 上，使用 hive 进行分析，或者是直接…

时间格式对于任何一个工程师来说都是绕不开的知识，爬虫工程师同样如此。爬虫工程师要将不同网站的相同类型内容存放在同一个数据表当中，常见的有： 在数据库建表的时候，通常有5中字段类型让人选择： TIME、DATE、DATETIME、TIMESTAMP、YEAR。 YEAR 这样的时…

Apache Flume 是一个分布式，可靠且可用的系统，用于有效地从许多不同的源收集、聚合和移动大量日志数据到一个集中式的数据存储区。 Flume 的使用不只限于日志数据。因为数据源可以定制，flume 可以被用来传输大量事件数据，这些数据不仅仅包括网络通讯数据、社交媒体产生…

Storm 是开源免费的分布实时计算系统（Apache Storm is a free and open source distributed realtime computation system）。这里提到了两个关键词： 至于如何从原理上理解 Storm 的特性，我会在后面…

实时应用程序的逻辑被打包到 Storm 拓扑中。一个 Storm 拓扑类似于一个 MapReduce 任务。关键的区别在于 MapReduce 任务最终会结束，而拓扑会一直运行（当然，除非你强制 kill 掉拓扑相关的进程）。拓扑可以理解为通过数据流（Stream Groupi…

该文档是用户使用Hadpoop分布式文件系统(HDFS)的起点，不管是作为hadoop集群的一部分来使用还是独立的通用分布式文件系统。虽然在很多场景下HDFS被设计成“正常工作”即可，但是掌握更多的HDFS工作机制将有利于更好的配置以及诊断。 HDFS是使用Hadoop程序来实…

所有的HDFS命令使用bin/hdfs脚本来调用。空参数运行该脚本将展示所有命令的介绍。 Hadoop有一个选项解析框架，它采用解析通用选项以及运行类。 对Hadoop集群用户有用的诸多命令。 打印获取Hadoop jar以及依赖库所需的类路径。如果不带参数调用，则打印由命令脚…

HDFS是一个被设计用来运行在商用机器上的分布式文件系统。它跟现有的分布式文件系统有很多相似之处，但是，区别也很大。HDFS容错率高，并且被设计为部署在廉价机器上。HDFS提供对应用程序数据的高吞吐量访问，适用于具有大型数据集的应用程序。HDFS放宽了一些POSIX要求，以实现…

UTC 时间 10 月 21 日 22:52，为了更换发生故障的 100G 光纤设备，美国东海岸网络中心与美国东海岸数据中心之间的连接被断开。连接在 43 秒后恢复，但这次短暂的中断引发了一系列事故，导致 24 小时 11 分钟的服务降级。