用户3668853433467
获得徽章 0
- Spark SQL的DataFrame可以理解为一个分布式的Row对象的数据集合；Spark SQL支持Parquet文件的读写，且保留schema。评论点赞
- 今天学习sparkstreaming，但是在用streaming监控hdfs目录时，发生了错误，显示没有正确的命令，目前还没有找到问题所在。评论点赞
- 今天学习了spark stream，掌握了使用socketTextStream连接端口获取数据源的方法，DStream的转换操作，学会了SparkStreaming从文件系统中读取数据以及DStream的输出操作。评论点赞
- 今天学习了MapReduce的相关知识，掌握了Mapreduce的各个组件的主要作用和运行机制，了解如何通过JAVA编写Mapreduce程序，掌握基本的Mapreduce算法，并解决实际问题。评论点赞
- 今天成功在ubuntu18.04中安装了MySQL和hive，并成功配置了其配置文件，具体过程中也遇到了一些问题，都在csdn上找到了具体的解决方法。评论点赞