jiuquguiyu

java开发中，常见的resource文件有：.xml,.properties,.txt文件等，后台开发中经常用到读取资源文件，处理业务逻辑，然后返回结果。//Class.getResource和Class.getResourceAsStream在使用时，路径选择上是一样的。相当...

@JsonFormat(shape = JsonFormat.Shape.#JsonInclude.Include.#JsonInclude.Include.#JsonInclude.Include.#JsonInclude.Include.spring.jackson.spri...

spark读取hive是最简单的，构造一个sparksession对象，直接执行SQL就得读取，然后直接insert就能写入。因为spark客户端配置了你的hive数据库的信息，所以能够直接读取hive数据库。....config("hive.exec.dynamic..conf...

spark读取MySQL就是通过最简单的jdbc实现读取和写入的，操作起来十分方便。但是在实际的项目当中，如果你有频繁的操作MySQL的话，建议最好加上连接池，不然速度会很慢。这里只是spark链接MySQL的入门，没有加上连接池的代码，后续会更新。package com.tes...

SparkSession spark = SparkSession.builder().Dataset<Row> row = spark.sqlContext().read().一开始想多了，怎么都不好使，其实spark直接通过sqlContext读取是最方便的。

老版本的kafka比较麻烦，streaming提供的只有checkpoint方法实现断点续读功能，但是当修改程序之后就没法平滑部署。因为checkpoint存储的是整个streaming启动类的序列化文件，当文件改动之后没法反序列化了。所以需要更好的方法来实现读取Kafka 实现...

Hive内部提供了很多操作字符串的相关函数，本文将对其中部分常用的函数进行介绍。下表为Hive内置的字符串函数，具体的用法可以参见本文的下半部分。返回类型函数名描述intascii(string str)返回str第一个字符串的数值stringbase64(binary bin)...

Spark读取文件有很多方法，我这里主要介绍一下读取非结构化的文件的两种方式，针对多文件读取，单文件读取也是一样的。String afsFilePath="afs://afs.yun.// String afsFilePath="afs://afs.yun.com/app/fil...

Spark的Dataframe（Dataset）转Json,网上很多都说的太麻烦了，让你先转换成collect，然后按照不同的filed字段去转义。Dataset<String> stringDataset = Dataset<Row> rowDataset.就相当于你的每一行数...