Spark权威指南第二章完整范例的坑

159 阅读1分钟

Spark权威指南

val flightData2015 = spark
  .read
  .option("inferSchema", "true")
  .option("header", "true")
  .csv("/data/flight-data/csv/2015-summary.csv")

spark-shell 进入spark shell后,scala代码没写完按回车,不像python或SQL可以接着写,也不支持\连接下一行就会fail。 卡了很久,后来搜到本书作者的github有人问,才看到: github.com/databricks/…

键入":paste" Scala>:paste

进入贴上模式

Ctrl+v/Command+v 贴上代码后

Ctrl+d离开贴上模式

image.png