开源大数据周刊-第45期

阿里云E-MapReduce实践

• 云HBase助力物联网建设
  物联网最大的特点写入量大，要求延迟低，且数据存量巨大。云HBase非常满足物联网存储需求，存储数P甚至百P的空间存储需求，延迟稳定在数毫秒之内，跟Hadoop分析体系有较为深入的结合，满足分析类的需求。

资讯

• 微软Azure云存储服务爆发故障 全球26个数据中心受影响
  3月16日美国科技新闻网站VentureBeat报道，本周四微软证实了其云计算发生全球性故障，波及全球26个数据中心。微软官方称，此次发生故障的是Azure公共云服务中的数据存储服务，存储故障也引发了其他相关的服务故障。
• 解读Wikibon 2017年大数据分析预测报告
  Wikibon最近完成了2017年大数据全球预测，该报告的作者是Wikibon分析师George Gilbert，以及Wikibon的Ralph Finos和Peter Burris，涉及到大数据的市场规模、增长和趋势等。
• Google公开了云服务API设计指南
  Google 公开了用于创建 HTTP 或 RPC API 的 API 设计指南。对于创建连接 Google Cloud Endpoints 的 gRPC API 的开发人员来说，这些设计原则更值得推荐使用。
• （技术）四个动画秒懂Apache Beam模型
  本文主要内容是 Hadoop Summit San 2016 上来自 Google 的关于 Apache Beam 的一个介绍：The Next Generation of Data Processing OSS。
• （技术）BigDL：运行于Spark集群上的分布式深度学习库
  Intel开源了基于Apache Spark的分布式深度学习框架BigDL。BigDL借助现有的Spark集群来运行深度学习计算，并简化存储在Hadoop中的大数据集的数据加载。
• （技术）如何安装Spark & TensorflowOnSpark
  本文介绍了如何安装Spark & TensorflowOnSpark。
• （技术）HDFS Federation在美团点评的应用与改进
  HDFS Federation为HDFS系统提供了NameNode横向扩容能力。然而作为一个已实现多年的解决方案，真正应用到已运行多年的大规模集群时依然存在不少的限制和问题。本文以实际应用场景出发，介绍了HDFS Federation在美团点评的实际应用经验。