大数据
5篇文章 · 0订阅
  • Spark On Hbase的官方jar包编译与使用
    maven版本过低，安装一下maven3.5.4，配置环境变量即可。 就是hbase-spark-1.0.1-SNAPSHOT.jar，现在可以在项目中使用了。 经查询，数据成功写入HBase。
    Spark
  • Spark入门（三）--Spark经典的单词统计
    既然要统计单词我们就需要一个包含一定数量的文本，我们这里选择了英文原著《GoneWithTheWind》（《飘》）的文本来做一个数据统计，看看文章中各个单词出现频次如何。为了便于大家下载文本。可以到GitHub上下载文本以及对应的代码。我将文本放在项目的目录下。 首先我们要读取…
    大数据
  • Spark 踩坑记：数据库（Hbase+Mysql）
    最近一个实时消费者处理任务，在使用 spark streaming 进行实时的数据流处理时，我需要将计算好的数据更新到 hbase 和 mysql 中，所以本文对 spark 操作 hbase 和 mysql 的内容进行总结，并且对自己踩到的一些坑进行记录。
    数据库 Spark MySQL
  • HBase 系列（六）——HBase Java API 的基本使用
    截至到目前 (2019.04)，HBase 有两个主要的版本，分别是 1.x 和 2.x ，两个版本的 Java API 有所不同，1.x 中某些方法在 2.x 中被标识为 @deprecated 过时。所以下面关于 API 的样例，我会分别给出 1.x 和 2.x 两个版本。…
    HBase
  • Spark2.3读写Hbase2.0最新API实践（CURD）
    以上两张表就创建好了，简单。 官网的 Example 36. HBaseContext Usage Example 如下： new SparkContext("local", "test") 这种写法是这个包独有的。详情如下： 两种API方法底层均调用SparkHadoopWr…
    大数据