啃书：python数据分析

字符串操作 字符串操作是我们很常见的一种处理，在实际应用中，我们会经常使用到对字符串的处理，python本身就是对字符串处理非常擅长，非常多的库函数可以帮助我们解决绝大部分我们生产生活中的简单问题。对

数据转换 对数据处理的另一类重要操作则是过滤、清理以及其他的转换工作。 移除重复数据 DataFrame中出现重复行有多种原因。下面就是一个例子： DataFrame的duplicated方法返回一个

在数据分析和建模中，我们绝大部分的时间将会是对数据进行处理准备上：加载、清理、转换以及重塑。这些工作都会占用我们全部分析时间的80%以上甚至更多。有时，存储在文件和数据库中的数据格式不适合某些任务，许

二进制数据 在实际工作中我们有时候为了压缩存储，会使用二进制的方式进行存储数据，这样很高效。而实现数据二进制存储的高效且简单的办法之一就是用python的内置pickle序列化。pandas对象有一个

JSON数据 我们在日常的开发中，经常会用到JSON数据，JSON已经成为通过HTTP请求在Web浏览器和其他应用程序之间发送数据的标准格式之一。它是一种比表格更加灵活可变的数据格式。下面给一个小例子

逐块读取文本文件 在当我们对大文件处理时，有可能我们只想读取出其中的一小部分并逐块对整体迭代。这种情况我们在查看大文件之前，我们会先设置pandas显式地更紧些： 然后有： 如果只想读取几行数据，可以

访问数据是使用本书所介绍的这些工具的第一步。我会着重介绍pandas的数据输入与输出，虽然别的库中也有不少以此为目的的工具。 输入输出通常可以划分为几个大类：读取文本文件和其他更高效的磁盘存储格式，加

书接上文~~ 函数应用和映射 numpy的通用函数也可以对pandas对象操作： 另一个常见的操作是，将函数应用到由各列或行所形成的一维数组上。DataFrame的apply方法即可实现此功能： 这里

书接上回~~ 整数索引 接下来索引篇的一个难点，处理pandas的整数索引常常会难住新手，因为它与python的内置列表元组的索引方式不同。例如下面代码： 是不是没什么问题？？ 不，这里错了！！！ 这

通过前面几个章节的铺垫，我们对于数据处理也有了一点了解。后续主要首选是Pandas，它包含了使数据清洗和分析工作更快更简单的数据结构和操作工具。pandas经常会和其他工具一起并行使用，如上章学习到的

NumPy基础：数组和矢量计算 NumPy（Numerical Python的简称）是Python数值计算最重要的基础包。大多数提供科学计算的包都是用NumPy的数组作为构建基础。 NumPy的部分功

Python的数据结构、函数以及文件操作 在这个章节，我们将开始学习Python的内置功能，这些功能将会对本书后续内容做一个铺垫。虽然扩展库有很多，但是基础知识不能忘，在有了基础的前提下，我们对模块库

Python的语法基础以及Jupyter NoteBook的使用指南 由于本人使用Jupyter更多所以就不再记录IPython的内容 2.1python解释器 Python作为解释语言，解释器同一时

1.1本书内容 本书系统阐述了Python进行数据控制、处理、整理、分析等多方面的具体细节和基本要点。我再学习这本书的过程中进行一个汇总和总结，通过笔记来强化牢记知识点。 数据的类别 本书中出现的数据