大数据
10篇文章 · 0订阅
  • 换个姿势入门大数据
    这篇文章是我近期准备在公司做大数据分享的内容。因为习惯了全英文的 keynote，所以本来标题叫《Introduction to bigdata》，但微信的英文标题字体总觉得有些别扭，所以还是取了这么个中文名。 这篇文章的目的是带那些对大数据不了解又有兴趣的人入门。如果你是老手…
    HBase HDFS Hadoop
  • 带你入坑大数据（一） --- HDFS基础概念篇
    从零开始的高并发系列我们已经把 zookeeper 给更新完了，顺带一提之前的zookeeper并没有结合大数据来进行说明。重新开个坑一方面是一直都想找个理由来总结一下大数据方面的东西，另一方面则是抓住时代的走向吧，毕竟也是为了自己，所以废话不多说我们就开始吧。 单个文件比较大…
    HDFS
  • Hadoop3.2.1版本的环境搭建
    最近有人提出能不能发一些大数据相关的知识，No problem ！ 今天先从安装环境说起，搭建起自己的学习环境。 完全分布式适用生产环境。 这篇文件介绍如何搭建完全分布式的hadoop集群，一个主节点，两个数据节点。 虚拟机、物理机、云上实例均可，本篇使用Openstack私有…
    大数据
  • 什么是HDFS？算了，告诉你也不懂。
    上一篇已经讲解了「大数据入门」的相关基础概念和知识了，这篇我们来学学HDFS。如果文章有错误的地方，不妨在评论区友善指出~ 好比：我调用了一个RPC接口，我给他参数，他返回一个response给我。RPC接口做了什么事其实我都不知道的（可能这个RPC接口又调了其他的RPC接口）…
    Java HDFS
  • 如何搭建一个Hadoop集群
    在学习大数据系统时，搭建一个 Hadoop 是基本的操作，很多大数据上层的应用都依赖 HDFS，本文介绍一种搭建 Hadoop 集群的方法。 在之前我写过一篇搭建本地服务器集群的方法，如果有需要，可以参考这里搭建一个本地的服务器集群。 在开始搭建 Hadoop 之前，还需要做一…
    大数据
    如何搭建一个Hadoop集群
  • 写给大数据开发初学者的话 | 附教程
    经常有初学者在博客和QQ问我，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你的专业是什么，对于计算机/软件，你的兴趣是什么？是计算机专业，对操作系统、硬件、
    后端
  • 程序员必备的「大数据入门」知识
    这篇文章主要是入门大数据，不涉及到高深的知识点和理论，我相信每个人都看得懂。如果文章有错误的地方，不妨在评论区友善指出~ 我有的时候给外行人讲解什么是数据库，就常常用Excel来举例子(因为大多数人认识什么是Excel)。在知乎有一个类似的题目《有excel了要数据库干啥？》，…
    Java 大数据
  • 零基础搭建Hadoop集群
    Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。 1. 创建在hadoop2.8.5文件下面创建一个input文件夹 2. 将Hadoop的xml配置文件复制到input 3. 执行share目录下的MapReduce程序 4. 查看输出结果 1. 创建在h…
    Hadoop
  • Hadoop 大数据生态系统及常用组件
    65% 的分析应用程序和先进分析工具都将基于 Hadoop 平台，作为主流大数据处理技术。一般数据量大 (多) 或者业务复杂的时候，常规技术无法及时、高效处理如此大量的数据，这时候可以使用 Hadoop
  • 大数据是什么？
    造数 - 跟新一代智能云爬虫一起探索大数据的乐趣大数据 Big Data 据说，词源出自Alvin Toffler，上世纪70年代的作品《第三次浪潮》。 逝者 | 阿尔文·托夫勒：如何化解未来的冲击 虽然大数据是一个泛泛的概念词，但是关于大数据，关于大数据处理分析的话题近来持续升…
    Apple 产品 爬虫