【机器学习】嘿马机器学习（科学计算库）第9篇：Pandas,5.6 文件读取与存储【附代码文档】

程序员一诺python
50 阅读1分钟

🏆🏆🏆教程全知识点简介：1.机器学习常用科学计算库包括基础定位、目标。2. 人工智能概述涵盖人工智能应用场景、人工智能小案例、人工智能发展必备三要素、人工智能机器学习和深度学习。3. 机器学习概述包括机器学习工作流程、什么是机器学习、模型评估（回归模型评估、拟合）、Azure机器学习模型搭建、完整机器学习项目流程。4. 机器学习基础环境安装与使用包括Jupyter Notebook使用（一级标题、Jupyter Notebook中自动补全代码等相关功能拓展）。5. Matplotlib可视化涵盖Matplotlib HelloWorld（什么是Matplotlib、实现简单Matplotlib画图折线图、画出温度变化图、准备数据、创建画布、绘制折线图、显示图像、构造x轴刻度标签、修改坐标刻度显示、设置中文字体、设置正常显示符号、保存图片）、添加坐标轴刻度、添加网格显示、添加描述信息、图像保存、设置图形风格、常见图形绘制（常见图形种类意义、散点图绘制）。6. Numpy包括Numpy优势、N维数组ndarray（ndarray属性）、基本操作（生成数组方法、生成0和1数组、从现有数组生成、创建符合正态分布股某票涨跌幅数据）、数组间运算（数组与数的运算）。7. Pandas数据结构包括Series、DataFrame。8. 文件读取与存储涵盖CSV（read_csv）、HDF（read_hdf与to_hdf）、JSON（read_josn）。9. 高级处理数据离散化包括为什么要离散化、什么是数据离散化、股某票涨跌幅离散化（读取股某票数据、将股某票涨跌幅数据进行分组、股某票涨跌幅分组数据变成one_hot编码）、案例实现。

📚📚👉👉👉本站这篇博客：   juejin.cn/post/751794…    中查看

📚📚👉👉👉本站这篇博客：   juejin.cn/post/751794…    中查看

✨ 本教程项目亮点

🧠 知识体系完整：覆盖从基础原理、核心方法到高阶应用的全流程内容
💻 全技术链覆盖：完整前后端技术栈，涵盖开发必备技能
🚀 从零到实战：适合 0 基础入门到提升，循序渐进掌握核心能力
📚 丰富文档与代码示例：涵盖多种场景，可运行、可复用
🛠 工作与学习双参考：不仅适合系统化学习，更可作为日常开发中的查阅手册
🧩 模块化知识结构：按知识点分章节，便于快速定位和复习
📈 长期可用的技术积累：不止一次学习，而是能伴随工作与项目长期参考

🎯🎯🎯全教程总章节

🚀🚀🚀本篇主要内容

Pandas

学习目标

  • 了解Numpy与Pandas的不同
  • 说明Pandas的Series与Dataframe两种结构的区别
  • 了解Pandas的MultiIndex与panel结构
  • 应用Pandas实现基本数据操作
  • 应用Pandas实现数据的合并
  • 应用crosstab和pivot_table实现交叉表与透视表
  • 应用groupby和聚合函数实现数据的分组与聚合
  • 了解Pandas的plot画图功能
  • 应用Pandas实现数据的读取和存储

5.6 文件读取与存储

学习目标

  • 目标

    • 了解Pandas的几种文件读取存储操作
    • 应用CSV方式、HDF方式和json方式实现文件的读取和存储

的数据大部分存在于文件当中，所以pandas会支持复杂的IO操作，pandas的API支持众多的文件格式，如CSV、SQL、XLS、JSON、HDF5。

注：最常用的HDF5和CSV文件

1 CSV

1.1 read_csv

  • pandas.read_csv(filepath_or_buffer, sep =',', usecols )

    • filepath_or_buffer:文件路径
    • sep :分隔符，默认用","隔开
    • usecols:指定读取的列名，列表形式

  • 举例：读取之前的股某票的数据

  
  
# 读取文件,并且指定只获取'open', 'close'指标
  
  
data = pd.read_csv("./data/stock_day.csv", usecols=['open', 'close'])

            open    close
2018-02-27    23.53    24.16
2018-02-26    22.80    23.53
2018-02-23    22.88    22.82
2018-02-22    22.25    22.28
2018-02-14    21.49    21.92

1.2 to_csv

  • DataFrame.to_csv(path_or_buf=None, sep=', ’, columns=None, header=True, index=True, mode='w', encoding=None)

    • path_or_buf :文件路径
    • sep :分隔符，默认用","隔开
    • columns :选择需要的列索引
    • header :boolean or list of string, default True,是否写进列索引值
    • index:是否写进行索引
    • mode:'w'：重写, 'a' 追加

  • 举例：保存读取出来的股某票数据

    • 保存'open'列的数据，然后读取查看结果
  
  
# 选取10行数据保存,便于观察数据
  
  
data[:10].to_csv("./data/test.csv", columns=['open'])

  
  
# 读取，查看结果
  
  
pd.read_csv("./data/test.csv")

     Unnamed: 0    open
0    2018-02-27    23.53
1    2018-02-26    22.80
2    2018-02-23    22.88
3    2018-02-22    22.25
4    2018-02-14    21.49
5    2018-02-13    21.40
6    2018-02-12    20.70
7    2018-02-09    21.20
8    2018-02-08    21.79
9    2018-02-07    22.69

会发现将索引存入到文件当中，变成单独的一列数据。如果需要删除，可以指定index参数,删除原来的文件，重新保存一次。

  
  
# index:存储不会讲索引值变成一列数据
  
  
data[:10].to_csv("./data/test.csv", columns=['open'], index=False)

2 HDF5

2.1 read_hdf与to_hdf

HDF5文件的读取和存储需要指定一个键，值为要存储的DataFrame

  • pandas.read_hdf(path_or_buf，key =None，** kwargs)

从h5文件当中读取数据

  • path_or_buffer:文件路径

  • key:读取的键

  • return:Theselected object

  • DataFrame.to_hdf(path_or_buf, key, **kwargs)

2.2 案例

  • 读取文件
day_close = pd.read_hdf("./data/day_close.h5")

如果读取的时候出现以下错误

需要安装安装tables模块避免不能读取HDF5文件

pip install tables

  • 存储文件
day_close.to_hdf("./data/test.h5", key="day_close")

python-dateutil 文档

再次读取的时候, 需要指定键的名字

new_close = pd.read_hdf("./data/test.h5", key="day_close")

注意：优先选择使用HDF5文件存储

  • HDF5在存储的时候支持压缩，使用的方式是blosc，这个是速度最快的也是pandas默认支持的

  • 使用压缩可以提磁盘利用率，节省空间

  • HDF5还是跨平台的，可以轻松迁移到hadoop 上面

3 JSON

JSON是 常用的一种数据交换格式，前面在前后端的交互经常用到，也会在存储的时候选择这种格式。所以 需要知道Pandas如何进行读取和存储JSON格式。

3.1 read_json

  • pandas.read_json(path_or_buf=None, orient=None, typ='frame', lines=False)

    • 将JSON格式准换成默认的Pandas DataFrame格式

    • orient : string,Indication of expected JSON string format.

      • 'split' : dict like {index -> [index], columns -> [columns], data -> [values]}

        • split 将索引总结到索引，列名到列名，数据到数据。将三部分都分开了

      • 'records' : list like [{column -> value}, ... , {column -> value}]

        • records 以columns：values的形式输出

      • 'index' : dict like {index -> {column -> value}}

        • index 以index：{columns：values}...的形式输出

      • 'columns' : dict like {column -> {index -> value}},默认该格式

        • colums 以columns:{index:values}的形式输出

      • 'values' : just the values array

        • values 直接输出值

    • lines : boolean, default False

      • 按照每行读取json对象

    • typ : default ‘frame’， 指定转换成的对象类型series或者dataframe

3.2 read_josn 案例

cryptography 文档

  • 数据介绍
avatar
文章
阅读
粉丝