这回我们推出了最新的顶级开源大数据工具排行榜。这个领域最近方兴未艾，许多新项目纷纷启动。许多最知名的项目由Apache基金会管理，与Hadoop密切相关。请注意：本文不是要搞什么排名；相反，项目按类别加以介绍。与往常一样，要是你知道另外的开源大数据及/或Hadoop工具应该榜

当今 “大数据” 一词的重点其实已经不仅在于数据规模的定义，它更代表着信息技术发展进入了一个新的时代。为了帮助大家更好深入了解大数据，云栖社区组织翻译了 GitHub Awesome Big Data 资源，供大家参考。本资源类型主要包括：大数据框架、论文等实用资源集合。

利用Python机器学习框架scikit-learn，我们自己做一个分类模型，对中文评论信息做情感分析。其中还会介绍中文停用词的处理方法。 前些日子，我在微信后台收到了一则读者的留言。 我一下子有些懵——这怎么还带点播了呢？ 但是旋即我醒悟过来，好像是我自己之前挖了个坑。 …

1、海量日志数据，提取出某日访问百度次数最多的那个IP。 2、寻找热门查询，300万个查询字符串中统计最热门的10个查询。 3、上千万或上亿数据（有重复），统计其中出现次数最多的前N个数据。 4、海量数据分布在100台电脑中，想个办法高效统计出这批数据的TOP10。

scala、spark 使用过程中，各种测试用例以及相关资料整理