用户4290209596838

1. pandas的基本介绍 Python在数据处理上独步天下：代码灵活、开发快速；尤其是Python的Pandas包，无论是在数据分析领域、还是大数据开发场景中都具有显著...

#博学谷IT学习技术支持# 01 概述 什么是流式计算 在日常生活中，我们通常会先把数据存储在一张表中，然后再进行加工、分析，这里就涉及到一个时效性的问题。如果我们处理以年...

#博学谷IT学习技术支持# 01 概述 什么是Apache Flume Flume是由Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件。...

#博学谷IT学习技术支持# 01 HBase基础简介 HBase产生的背景介绍 从 1970 年开始，大多数的公司数据存储和维护使用的是关系型数据库 大数据技术出现后，很多...

#博学谷IT学习技术支持# 01 消息队列的基本介绍 什么是消息队列 消息队列，英文名：Message Queue，经常缩写为MQ。从字面上来理解，消息队列是一种用来存储消...

#博学谷IT学习技术支持# 4. 数仓建模 4.1 概述 数据仓库建模的方法常用的有两种：三范式建模法、维度建模法，三范式建模法主要是应用于传统的企业级数据仓库，这类数据仓...

#博学谷IT学习技术支持# 1. 数据仓库介绍 1.1 数据仓库概念 《建立数据仓库》一书中对数据仓库的定义是：数据仓库（Data Warehouse）是一个面向主题的（S...

#博学谷IT学习技术支持# 1. 大数据分析交互平台Hue 1.1 Hue介绍 HUE=Hadoop User Experience Hue是一个开源的Apache Had...

#博学谷IT学习技术支持# 1. 测试集群规划 1.1软件选型 项目软件选型： jdk：Jdk1.8 Scala2.11.8 CDH 6.2.1： zookeeper-3....

#博学谷IT学习技术支持# hive的数据压缩 在实际工作当中，hive当中处理的数据，一般都需要经过压缩，可以使用压缩来节省我们的MR处理的网络带宽   MR支持的压缩编...

#博学谷IT学习技术支持#Hive函数 Hive的函数分为三类： 聚合函数、内置函数，表生成函数，聚合函数之前已经学习过了，接下来学习内置函数和表生成函数. 语法: rou...

Hive数据库和表操作   数据库操作     创建数据库 说明：hive的表存放位置模式是由hive-site.xml当中的一个属性指定的 创建数据库并指定hdfs存储位...

数据仓库的介绍 数据仓库的基本概念 数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库顾名思义，是一个很大的数据存储集合，出于企业的分析性报告...

. Yarn介绍 Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者） 是一种新的 Hadoop 资...

5.1 WordCount业务需求 WordCount中文叫做单词统计、词频统计，指的是使用程序统计某文本文件中，每个单词出现的总次数。这个是大数据计算领域经典的入门案例，...

#博学谷IT学习技术支持# 1. 初识MapReduce 1.1 理解MapReduce思想 MapReduce思想在生活中处处可见，每个人或多或少都曾接触过这种思想。Ma...

#博学谷IT学习技术支持# 1. 企业存储系统 随着这两年产业互联网的推动和发展，越来越多的企业开始进行数字化转型，将传统的业务流程进行数字化改造。在进行数字化的过程中，需...

1. 大数据概念 1.1 数据存储单位 常见数据存储单位： 1Byte = 8bit 1K(千)= 1024Byte 1MB（兆)=1024K 1G(吉) = 1024M...

. Zookeeper基本知识 1.1. ZooKeeper概述 Zookeeper是一个分布式协调服务的开源框架。主要用来解决分布式集群中应用系统的一致性问题。 Zoo...

1. 简介 shell脚本执行方式Shell 是一个用 C 语言编写的程序，通过 Shell 用户可以访问操作系统内核服务。它类似于 DOS 下的 command 和后来的...