Kooola大数据

上篇文章 Mysql 到 Hbase 数据如何实时同步，强大的 Streamsets 告诉你 我们说到了如何使用 Streamsets 来进行 mysql 到 hbase 的数据实时同步（迁移）。使用 Streamsets 的优点是部署简单，配置灵活，无需编写代码。 认真阅读上…

很多情况大数据集群需要获取业务数据，用于分析。通常有两种方式： 第一种可以是在业务中编写代码，将觉得需要发送的数据发送到消息队列，最终落地到大数据集群。 第二种则是通过数据同步的方式，将关系型数据同步到大数据集群，可以是存储在 hdfs 上，使用 hive 进行分析，或者是直接…

本文将介绍一些开发以及运维工作中经常用到的 Hbase Shell 命令。作为开发以及运维人员这些常用命令是需要了解并经常使用的，当然可以不必将他们死记硬背下来。如果在某些场景下想到需要使用某个命令，但是又不知道具体的使用方法时，可以扫一眼这篇文章（熟练使用 mysql 命令的…

Apache Flume 是一个分布式，可靠且可用的系统，用于有效地从许多不同的源收集、聚合和移动大量日志数据到一个集中式的数据存储区。 Flume 的使用不只限于日志数据。因为数据源可以定制，flume 可以被用来传输大量事件数据，这些数据不仅仅包括网络通讯数据、社交媒体产生…

人工智能（AI）和机器学习（ML）将要（正在）对制造业产生巨大影响。利用这些技术，制造商将获得非常可观实用的计算能力，这些能力帮助制造商解决以往人工无法有效解决的问题。它们将为制造商一直在寻求的生产问题提供更加理想的答案。这意味着能帮助我们尽可能高效地生产产品，减少资源浪费。 …

Storm 是开源免费的分布实时计算系统（Apache Storm is a free and open source distributed realtime computation system）。这里提到了两个关键词： 至于如何从原理上理解 Storm 的特性，我会在后面…

实时应用程序的逻辑被打包到 Storm 拓扑中。一个 Storm 拓扑类似于一个 MapReduce 任务。关键的区别在于 MapReduce 任务最终会结束，而拓扑会一直运行（当然，除非你强制 kill 掉拓扑相关的进程）。拓扑可以理解为通过数据流（Stream Groupi…

Cloudera管理控制台是一个网站页面，你可以用它来配置、管理以及监控CDH。如果服务已经配置，控制台头部的导航栏将显示如下：导航栏显示以下信息：集群（Clusters>cluster_name）服

扫码关注微信公众号"Kooola大数据"~一起聊人生 | 聊技术 操作系统: CentOs6.4 虚拟机（4核 3G） 主机： cdh01(server & agent) + cdh02( agent ) CDH版本：cdh5.7.1 jdk8 在两台主机上都运行一下命令 将H…