数据社

大数据集群迁移这件事，不知道有多少同学做过(反正我是第一次)。我说的不是简单的把一个集群的数据拷贝到另一个集群上，我指的是整个数据处理平台与相关的前台业务的迁移工作，是从一个机房到另一个机房。 刚开始接到迁移通知，想着没什么问题，一个月应该可以搞定(毕竟无知者无畏)。可是当着手…

Lambda架构背后的需求是由于MR架构的延迟问题。MR虽然实现了分布式、可扩展数据处理系统的目的，但是在处理数据时延迟比较严重。实际上如果内存和CPU足够强大，MR也可以实现近实时运算，但实际业务环境并非如此，因此我们需要权衡，选择实时处理和批处理所需要数据量和恰当的资源。 …

曾经有公众号的小伙伴后台联系我，咨询一些问题。有一个粉丝问过这样一个问题： 收到收到这条消息，我很欣喜。首先，作为一个刚毕业两年的同学，能有这种居安思危的想法，已经超越了很大一部分职场人。其次，我其实和这位同学有着相似的经历，很愿意去分享一些自己的想法。 首先，其实除了很少岗位…

2、主机准备。 修改虚拟机的网络设置、禁用SElinux、修改主机名、关闭防火墙、ssh免密、开启http服务、设置时钟同步；对于网络的要求是：NAT模式下，所有主机在同网段，且能访问外网。修改IP、网关、DNS； 3、配置mariaDB。作为hive和ambari的元数据库 …

Apache Zeppelin是一个让交互式数据分析变得可行的基于网页的开源框架。Zeppelin提供了数据分析、数据可视化等功能。 Zeppelin 是一个提供交互数据分析且基于Web的笔记本。方便你做出可数据驱动的、可交互且可协作的精美文档，并且支持多种语言，包括 Scal…

若是在虚拟机上配置（须满足内存>6G，磁盘划分/至少40G，/data/10G），保证NAT模式下所有主机在同网段，且能访问外网。修改IP、网关、DNS； 首先，修改ifcfg-en33的dhcp自动分配修改为静态寻址，增加ip/掩码/网关配置；（网关不管怎么配，都不要配192…

记得第一次参与大数据平台从无到有的搭建，最开始任务调度就是用的Crontab，分时日月周，各种任务脚本配置在一台主机上。crontab 使用非常方便，配置也很简单。刚开始任务很少，用着还可以，每天起床巡检一下日志。随着任务越来越多，出现了任务不能在原来计划的时间完成，出现了上级…

关于从0到1搭建大数据平台，之前的一篇博文《如何从0到1搭建大数据平台》已经给大家介绍过了，接下来我们会分步讲解搭建大数据平台的具体注意事项。 当你需要搭建大数据平台的时候一定是传统的关系型数据库无法满足业务的存储计算要求了，所以首先我们面临的是海量的数据。 复杂数据的概念和理…

大数据时代这个词被提出已有10年了吧，越来越多的企业已经完成了大数据平台的搭建。随着移动互联网和物联网的爆发，大数据价值在越来越多的场景中被挖掘，随着大家都在使用欧冠大数据，大数据平台的搭建门槛也越来越低。借助开源的力量，任何有基础研发能力的组织完全可以搭建自己的大数据平台。但…