如何查看parquet文件的schema信息
IDEA 插件
下载一个Avro and Parquet Viewer插件
- plugins.jetbrains.com/plugin/1228…
- 找到自己IDEA对应版本的压缩包下载下来，Windows的IDEA版本可以在Help的About里看，mac的IDEA版本在窗口左上角的IntelliJ IDEA中的About IntelliJ IDEA
这里我的版本是2021.3.1
对应的插件版本是3.1.0，点击download下载
3. IDEA： Perferences(settings) -> Plugins -> Install Plugins from Disk -> Restart
4. IDEA的下方工具栏会多出一个Avro/Parquet Viewer选项，可以把Parquet文件直接拖到这里查看schema
Parquet-tools
parquet-tools schema XXXX.parquet
spark-shell
spark.read.format("parquet).load("test.parquet").schema
