启掘金成长之旅!这是我参与「掘金日新计划 · 12 月更文挑战」的第32天,点击查看活动详情
Python 常见的配置文件写法梳理汇总
前言
在本文里列举的配置文件类型其复杂性由上到下依次增加:ini < json ≈ toml < yaml,它们之间各有优劣,可以根据自己实际的需求和团队协作要求来具体选择。
为什么要写配置文件
在开发过程中,我们常常会用到一些固定参数或者是常量。对于这些较为固定且常用到的部分,往往会将其写到一个固定文件中,避免在不同的模块代码中重复出现从而保持核心代码整洁。
这个固定文件我们可以直接写成一个 .py 文件,例如 settings.py 或 config.py,这样的好处就是能够在同一工程下直接通过 import 来导入当中的部分;但如果我们需要在其他非 Python 的平台进行配置文件共享时,写成单个 .py 就不是一个很好的选择。
这时我们就应该选择通用的配置文件类型来作为存储这些固定的部分。目前常用且流行的配置文件格式类型主要有 ini、json、toml、yaml、xml 等,这些类型的配置文件我们都可以通过标准库或第三方库来进行解析。
ini
ini 即 Initialize 初始化之意,早期是在 Windows 上配置文件的存储格式。ini 文件的写法通俗易懂,往往比较简单,通常由节(Section)、键(key)和值(value)组成,就像以下形式:
[localdb]
host = 127.0.0.1
user = root
password = 123456
port = 3306
database = mysql
Python 本身内置的 configparser 标准库,我们直接就可以用来对 ini 文件进行解析。如我们将上述内容保存在一个名为 db.ini 的文件中,然后使用 read() 方法来进行解析和读取,最后通过 items() 方法来获取指定节点下的所有键值对。
>>> from configparser import ConfigParser
>>> cfg = ConfigParser()
>>> cfg.read("/Users/Bobot/db.ini")
['/Users/Bobot/db.ini']
>>> cfg.items("localdb")
[('host', '127.0.0.1'), ('user', 'root'), ('password', '123456'), ('port', '3306'), ('database', 'mysql')]
需要注意的是,configparser 默认将值以字符串的形式呈现,所以这也就是为什么我们在 db.ini 文件中没有加引号而是直接将字面量写在上面的原因。
获取到键值对后,我其实直接就将其转换成字典,然后通过解包的方式进行穿参,保持代码简洁:
#!pip install pymysql
import pymysql
from configparser import ConfigParser
cfg = ConfigParser()
cfg.read("/Users/Bobot/db.ini")
db_cfg = dict(cfg.items("localdb"))
con = pymysql.connect(**db_cfg)
json
json 格式可以说是我们常见的一种文件形式了,也是目前在互联网较为流行的一种数据交换格式。除此之外,json 有时也是配置文件的一种。
比如 npm(JavaScript 包管理工具类似 Python 的 pip)、以及微软出品的目前被广泛使用的 VSCode 编辑器,都使用 json 编写配置参数。
和 configparser 一样,Python 也内置了 json 标准库,可以通过 load() 和 loads() 方法来导入文件式和字符串的 json 内容。
{
"localdb":{
"host": "127.0.0.1",
"user": "root",
"password": "123456",
"port": 3306,
"database": "mysql"
}
}
我们将上述内容保存为 db.json 后进行读取和解析,json 库读取 json 文件相对简单容易,而且很容易解析成 Python 的字典对象。
>>> import json
>>> from pprint import pprint
>>>
>>> with open('/Users/Bobot/db.json') as j:
... cfg = json.load(j)['localdb']
...
>>> pprint(cfg)
{'database': 'mysql',
'host': '127.0.0.1',
'password': '123456',
'port': 3306,
'user': 'root'}
使用 json 文件配置的缺点就是语法标准严格限制,为人所诟病之一的就是无法在当中写注释,除非采取 json 类型的其他超集作为替代方案(VSCode 中能写注释的 json 参数配置文件便是代替方案的一种);同时存在嵌套过深的问题,容易导致出错,不宜用来写过长或复杂的参数配置信息。
toml
toml 格式(或 tml 格式)是 Github 联合创始人 Tom Preston-Werner 所提出的一种配置文件格式。根据维基百科的资料,toml 最开始提出时是在 2013年7月份,距今已有七年时间;它在某些方面也与后面要谈到的 yaml 文件有些类似,但如果当你知道 yaml 的规范有几十页(没有错,真的就是几十页……)的时候,可能你真的就不太愿意去写那么复杂的配置文件,toml 格式则倒是个不错的选择。
toml 有点类似于前面所讲的 ini 文件。但是它比 ini 扩展了更多的内容。除了基本的字符串以外,例如时间戳、布尔值、数组等都进一步支持,而且样式和 Python 的原生写法十分类似。
这么契合 Python 方式的配置文件类型已经有开发者造出了相应的「轮子」,目前在 Github 上 Stars 数最多的是则是 uiri/toml 的版本,不过该版本仅通过了 v0.5 版本 toml 规范,但在使用上还是蛮简洁的,我们可以通过 pip 命令进行安装
pip install toml
该库的解析方式很简单,也有点类似于 json 库的解析用法,即通过load() 或 loads() 来进行解析;同理转换并导出也是同样类似的用法。
比如我们现在将以下内容写入到 config.toml 中:
[mysql]
host = "127.0.0.1"
user = "root"
port = 3306
database = "test"
[mysql.parameters]
pool_size = 5
charset = "utf8"
[mysql.fields]
pandas_cols = [ "id", "name", "age", "date"]
紧接着我们就可以通过 toml 库中的 load() 方法来进行读取:
>>> import toml
>>> import os
>>> from pprint import pprint
>>> cfg = toml.load(os.path.expanduser("~/Desktop/config.toml"))
>>> pprint(cfg)
{'mysql': {'database': 'test',
'fields': {'pandas_cols': ['id', 'name', 'age', 'date']},
'host': '127.0.0.1',
'parameters': {'charset': 'utf8', 'pool_size': 5},
'port': 3306,
'user': 'root'}}
可以看到 toml 文件被间接地转化成了字典类型,当然这也就是 json 版的写法(将单引号替换成双引号即可),方便我们后续调用或者传参。