Python 数据处理

5.3 无伺服器环境搭建 无伺服器 (Serverless) 是一个新兴的技术，是一个基于函数既服务 (Function as a Service, FaaS) 实作的一个架构，让开发者可以更专注在开

5.3 Container 环境搭建 使用容器 (Container) 的主要原因，有以下几点： 比较复杂的项目，Python 可能还需要调用第三方非 Python 的库，甚至是跟一些服务器交互，因此

5.2 虚拟环境搭建 在介绍 Python 虚拟环境搭建之前先介绍什么是 PEP，PEP 是 Python 增强提案 (Python Enhancement Proposal) 的缩写。Python

当使用者完成一个 Python 项目的时后，要将这个代码移交给他人可能会遇到的问题有以下三种情况： Python 解释器：有无安装或版本不同。 相关包： 代码中有需要使用的包。 操作系统： Windo

4.4 Seaborn Seaborn 是一个基于 matplotlib 并与 Pandas 数据结构紧密结合的 Python 数据可视化库。它提供了一个高级应用编程接口，让使用者专注于绘图的不同元素

相互关系－散点图 散点图是研究两个变量之间关系的经典和基础图，当有多组数据时，也可以用不同的颜色来显示每个组，以下使用美国中西部各州 (midwest.csv) 的人口分布案例来观察，首先先依类别来分

4.3 Pandas 内置可视化方法 Pandas 本身也提供几个简单的数据可视化图形，可以完成简单的变化－折线图、等级－柱状图、分布－直方图、箱型图、相互关系－散点图、分群－安德鲁斯曲线等。 变化－

接下来要讨论的是在数据可视化的过程，我们希望透过图表来表达数据的特色，一个良好的图表应该具备以下特色： 提供准确、有需求的信息，不歪曲事实。 设计简单，获取时不会太费力。 美感是为了支持这些信息，而不

线条颜色(color)、线型(linestyle)、点标记符(marker) 刻度、标签和图例 要改变 x 轴刻度，最简单的办法是使用 set_xticks() 和 set_xticklabels()

Matplotlib 中文化 但是这样的画面并不适合中文使用者，所以接下来试着将标题与标签输入中文，步骤如下 步骤 1. 下载需要的字体文件：以黑体(SimHei)为例，下载对应的字体文件 SimHe

4.2 Matplotlib 本节介绍如何使用 matplotlib，最简单方法是在 Jupyter notebook 进行交互式绘图。在 Visual Studio Code 画面中按下 Ctrl+

4.1 可视化包介绍、安装与加载 数据可视化是数据分析中最重要的工作之一，透过图像化可以帮助使用者更容易找到一些数据的特性，Python 有许多库可以进行静态或动态的数据可视化，而本章将关注于 mat

3.3.2 数据替换与合并 将 'Cabin' 此栏删除或是找出缺失值并替换，以下实例将先演示找出缺失值，用 inplace()函数替换成 'S' 这个并未被使用过的舱位。 实例 运算时，文字类型并不

3.3 数据清洗与合并 数据预处理包含了数据清洗 (data cleansing) 与特征工程 (feature engineering) ，本节主要介绍的是数据清洗部份，主要目的是将原始数据转换成整

存储与加载 Excel 文件 read_excel/to_excel() 函数是 pandas 用来存储与加载 Excel 文件的方法，但需要调用 Python 的 xlrd 模块来读取或写入 Exc

存储与加载 JSON 文件 JSON (JavaScript Object Notation) 是一种基于 JavaScript 语法子集的开放标准数据交换格式 ，采用完全独立于编程语言的文本格式，易

3.2 数据加载与存储 不管是大数据分析或是机器学习，第一个步骤都是将原始数据加载到系统中，然而，原始数据的形式有很多种，可能是日志文件、数据集文件、网页开放数据或是数据库等。 pandas 的加载与

数据统计 函数 元素及描述 amin 数组中的元素沿指定轴的最小值 amax 数组中的元素沿指定轴的最大值 ptp 计算数组中元素最大值与最小值的差 percentile 百分位数 med

面对如此多样与多量的数据，本小节介绍一些常见的数据操作方法，有助于面对数据时，可以快速并准确的的处理数据，主要的操作所使用的包是第二章所介绍的 Numpy。

在介绍数据的处理之前，先理解一下在机器学习领域，数据科学家是如何看待数据的，数据可以分成标量 (Scalar)、向量 (Vector)、矩阵 (Matrix)、张量