spark graphx创建

127 阅读1分钟

创建graphx

1、工厂方法apply

定义在Graph中,定义如下:

def apply[VD, ED](
vertices: RDD[(VertexId, VD)],
edges: RDD[Edge[ED]],
defaultVertexAttr: VD = null)
: Graph[VD, ED]\

参数为两个RDD分别是RDD[(VertexId, VD)]、RDD[Edge[ED]]

\

2、edgeListFile

定义如下:

def edgeListFile(
sc: SparkContext,
path: String,
canonicalOrientation: Boolean = false,
minEdgePartitions: Int = 1)
: Graph[Int, Int]\

参数path是一个只包含边的文件路径,文件每行只有两个整数,分别代表边的源定点id和目标定的id

忽略带#的行

参数minEdgePartitions代表最少生成的边的分区

\

3、fromEdges

定义如下:

def fromEdges[VD, ED](
edges: RDD[Edge[ED]],
defaultValue: VD)
: Graph[VD, ED]\

4、fromEdgeTuples

定义如下:

def fromEdgeTuples[VD](
rawEdges: RDD[(VertexId, VertexId)],
defaultValue: VD,
uniqueEdges: Option[PartitionStrategy] = None)
: Graph[VD, Int]\