BeCautious

1.Linux虚拟机环境准备 笔者这里是直接使用阿里云配置了一台Centos8的linux云服务器。 linux配置 2.安装依赖 3.git安装 4.Go 编译环境安装和配置 Go 以后会用 Go

Access Controller Engine项目背景 Go 应用的安全 Go应用和其他语言的应用一样，大致可以分为以下两个方面: 服务自身的安全：为了保证服务的安全，需要禁止非法用户访问服务。这可

Hadoop1.0存在的问题 NameNode SPOF，NameNode挂掉整个集群不可用 内存受限，整个集群的size受限于NameNode的内存空间大小 HDFS2.0的解决方案 HDFS2.0

Go应用开发的生命周期 一个完整的Go应用开发过程会经历如下五个阶段，每个阶段都包括很多内容： 1. 规范设计： 我们需要了解开发中常见的 10 大规范，例如目录规范、日志规范、错误码规范、Commi

Data Block 在HDFS中大文件会被切分成数据块分布在不同的机器上，每个数据块是以单独的文件形式存储在各自的文件系统中。 比如下面一个6440MB的一个大文件会以101个64MB大小的Bloc

分布式存储技术是如何产生的？ 分布式存储是大数据平台中的根基， 其是在数据存储技术不断优化的过程中诞生的，分布式存储技术提高了磁盘读写的性能以及提供了横向拓展和容灾的特性。 数据存储优化的基本思路 对

MapReduce MR是一种典型的离线分布式计算技术。 两个函数: Map和Reduce • 核心思想: 分而治之 • 设计理念: 计算向数据靠拢 MapReduce vs 并行计算 分布式的4种计

什么是Hadoop 我们常常说大数据平台一般是指Hadoop集群，Hadoop集群包含HDFS分布式文件系统和YARN资源管理系统以及分布式离线计算MR。 Hadoop基础组件 现在Hadoop的生态

什么是大数据？ 大数据是一种规模大到在获取、存储、管理和分析方面大大超出了传统数据库软件工具能力范围的数据集合。 并且无法在一定时间范围内用常规软件工具进行捕捉、管理和处理，是需要新处理模式才能具有更