fengye

有些系统进程不能被杀死，此时可用kill -9进程号来杀死进程，此时 可能会导致用户自动弹出，在拒绝某些用户访问服务器是可用上此方法。 用killall 进程号可杀死该进程及其子进程。 动态：top，查看执行的进程。再输入如下命令： 查看进程及被监听进程：netsata –an…

本地/独立模式 ：在系统中下载Hadoop之后，默认情况下，它以独立模式配置，并且可以作为单个Java进程运行。 伪分布式模式 ：它是单机上的分布式仿真。每个Hadoop守护进程（如hdfs，yarn，MapReduce等）都将作为单独的java进程运行。此模式对开发有用。 完…

在 Spark 2.0 中，有一些内置的 sources 。 以文件流的形式读取目录中写入的文件。支持的文件格式为 text ， csv ， json ， parquet 。文件必须以 atomically （原子方式）放置在给定的目录中 来自 Kafka 的 Poll 数据。…

broker : 已发布的消息保存在一组服务器中，称之为Kafka集群。集群中的每一个服务器都是一个代理(Broker) Connector API允许构建或运行可重复使用的生产者或消费者，将topic连接到现有的应用程序或数据系统。 每一个分区都是一个顺序的、不可变的消息队列…

对一个RDD flatMap扩容，将每条数据映射为多条数据，key加上范围内随机前缀(如10)。

只要一个StreamingContext启动之后，就不能再往其中添加任何计算逻辑了。 一个StreamingContext停止之后，是肯定不能重启的。调用stop()之后，不能再调用start() 一个JVM同时只能有一个StreamingContext启动(和SparkCon…

观察Driver的log：“BlockManagerInfo: Added rdd_6_0 in memory on 192.168.0.101:12907 (size: 16.6 KB, free: 1443.6 MB)”的日志信息。这就显示了每个partition占用了多少…

一. Spark 新特性 其实现方式是在可能的情况下将把不同的Operator放在一起生成一个大块的处理函数。这样的好处是，去掉了冗余的operator之间的数据传递（这个可能是性能开销的大头），并且一个大的代码段不跨越函数边界，将更有可能被JVM JIT优化。终极目标是，生成…

Spark SQL中的临时视图是session级别的,若需要spark应用级别的临时视图,可以使用全局临时视图.全局的临时视图存在于系统数据库 global_temp中, 必须加上库名去引用,如SELECT * FROM global_temp.view1. 可以跳过不符合条件…