开源大数据周刊-第35期

172 阅读3分钟

摘要:
阿里云E-MapReduce实践 如何在E-MapReduce上使用引导操作安装kafka组件当前E-MapReduce中没有kafka组件,需要额外安装。本文介绍如何用E-MapReduce引导操作来安装kafka_2.10-0.10.0.0版本。

阿里云E-MapReduce实践

当前E-MapReduce中没有kafka组件,需要额外安装。本文介绍如何用E-MapReduce引导操作来安装kafka_2.10-0.10.0.0版本。

资讯

  • 大数据行业成资本市场新宠 数据源或成大数据公司核心竞争力
    日前,大数据发展浪潮正在席卷全球,资本也敏锐追逐着高增长市场。大数据是我国的战略性新兴产业,而投资界持续看好大数据产业的发展未来,这种趋势明显增强。
  • LinkedSee灵犀获5000万元A轮融资,把大数据落地硬件运维
    LinkedSee灵犀的定位是运维大数据公司,主要侧重帮企业解决硬件运维方面的需求。 LinkedSee灵犀对市场的判断是,小微企业为了节约成本使用公有云会偏多,虽然不需要自己去维护机房,但仍需监控别人维护的状况,对这部分企业提供告警服务比较合适。而大企业依旧会用私有化部署,即使有业务迁移到共有云上,对机房管理的需求不是消失,而是转嫁到像阿里云这种底层IaaS厂商身上,也就是说,厂商的硬件维护成本是越来越高的,针对这种情况,提供一套监控维护方案就比较合适。
  • 2017年值得关注的十大IaaS云发展趋势
    如今各云服务供应商开始为客户提供更多选择,包括遍布全球各地的主机、更多虚拟化实例配置以及工作负载优化机制,同时亦推出了更多对云环境内数据进行管理与分析的选项。文章分析了 IaaS公有云市场在2017年又将迎来哪些转变

技术

  • Catalyst — Spark SQL中的函数式关系查询优化框
    Catalyst是Spark SQL中的一套函数式关系查询优化框架,本演讲将Catalyst中最为关键的TreeNode和Rule结构提炼出来,并用之实现了一个完整的带编译优化的Brainfuck解释器, 全部代码不到三百行。通过这个迷你解释器,观众将可以完整理解Catalyst的基本工作原理,并体会到函数式、申明式编程的强大
  • Apache Flink 1.2.0新功能概述
    文章介绍了Apache Flink 1.2.0新功能。在Apache Flink 1.1+版本上,社区主要的集中点在操作性(Operations)、生态系统(Ecosystem)、更广泛的用户(Broader Audience)以及应用特性(Application Features)等方面的开发
  • HBase RegionServer宕机数据恢复
    为了防止数据写入缓存之后不会因为RegionServer进程发生异常导致数据丢失,在写入缓存之前会首先将数据顺序写入HLog中。如果不幸一旦发生RegionServer宕机或者其他异常,这种设计可以从HLog中进行日志回放进行数据补救,保证数据不丢失。HBase故障恢复的最大看点就在于如何通过HLog回放补救丢失数据
  • Spark Streaming + Elasticsearch构建App异常监控平台
    文章介绍了美团使用Spark和ES在实时日志监控/查询中的一些实践