一个topic可以分割成多个partition,如果不划分之前，一个topic只能在一台broker上面，能够存储的信息体就会受到单机的限制。分割成多个partition的话，每个partition可以分布在不同的broker上面，那么一个topic上面的内容可以被存储到很多台…

一、我与快递小哥的故事 一个很正常的一个工作日，老周正在忙着啪啪啪的敲代码，办公司好像安静的只剩敲代码的声音。突然，我的电话铃声响起了，顿时打破了这种安静。 还好有菜鸟驿站，不然工作日加班到很晚才回家

放假回老家，老爸正在修围墙，喊彭小贝去帮忙搬砖。没搬两下，彭小贝就累屁了。这不行啊！想到平时老板对他的教导，要用大数据技术驱动业务发展。于是他找了一个阴凉的地方开始进行技术选型。技术选型可以简单分为三步：需求理解、提出方案、落地及优化。搬砖是指对砖头的运输， 从A点运输到B点。期...

数据散落在企业各部门应用的数据存储中，它们之间有着复杂的业务连接关系，从整体上看就如一张巨大的蜘蛛网：结构上错综复杂，却又四通八达。在企业级数据应用上单一业务使用方便，且灵活多变；但涉及到跨业务、多部门联合应用就会存在：①数据来源多样化，管理决策数据过于分散；②数据缺乏标准，难…

分布式架构出现后，越来越多的分布式系统会面临数据一致性的问题。 目前，ZooKeeper 是在解决分布式数据一致性上最成熟稳定且被大规模应用的工业级解决方案。 分布式系统数据一致性的核心算法就是 ZAB 协议（ZooKeeper Atomic Broadcast，原子消息广播协…

1. hive 内部表和外部表的区别？ 未被external修饰的是内部表（managed table），被external修饰的为外部表（external table）； 内部表数据由Hive自身管

把本地的这个位置的文件导入到集群的flume里面。 我们基于以上的数据我们要建立hive数仓（规划数仓、表、把数据加载过来），进行相应的分析。 Linux里面有个定时任务处理crontab。每天定时执行这个shell脚本（自己研究一下）

今天是初三，恰逢情人节，也没提前准备啥礼物，就陪媳妇回娘家探亲。老丈人家一堆的小朋友，非常热闹。我家娃是个孩子王，往年都用暴力征服小朋友，今年居然动脑筋了。随便来一个小朋友，心里想一个1-1000的数，他通过10个问题，猜出心中的那个数是多少。如果10个问题问完，猜中了，就得给他...

我最早听说 ELT 的时候也楞了一下，只不过简单琢磨了一下就放下了。今天重新听到，其实也没啥感觉。额。。。其实吧， ETL 和 ELT 还真的只是顺序不一样。 ELT 是Extract（抽取）、Load（加载）、Transform（转换）。额...你要是这么想，那可就小看了我们数...