如何查看和分析100g的文本文件（2）

如何查看和分析100g的文本文件（1）

二、写一个程序

java或scala程序

在Scala中读取大文本文件，使用标准库中的Source对象来高效地处理文件读取。

import scala.io.Source object ReadFirstTenLines { def main(args: Array[String]): Unit = { val filePath = "G:\stackoverflow/Comments.xml"

// 使用Source对象读取文件  
val source = Source.fromFile(filePath)

try {
  // 创建一个迭代器来逐行读取文件
  val firstTenLines = source.getLines().toList

  firstTenLines.foreach(println)
  println(firstTenLines.size)
  
  /*作为测试:打印前10行  
  val firstTenLines = source.getLines().take(10).toList
  firstTenLines.foreach(println)
  */
  
} finally {
  // 确保在完成后关闭Source对象  
  source.close()
}  }}

原因分析：

？ 一次读入整个文件，内存溢出

解决办法：流式读取