你的第一份Python库源码阅读：records

点击蓝色字关注我们！

◆ ◆ ◆

基本介绍

records是kennethreitz的for Humans™系列，使用原生sql去操作大多数的关系型数据库（Postgresql, MySQL, SQLite, Oracle和 MS-SQL），并且支持多种格式输出，如csv、excel、json等。

https://github.com/kennethreitz/records

代码不超过1000行，如果是第一次尝试阅读python开源项目，这是一个很好的选择。作者Kennethreitz是requests的作者，python领域的大牛人物之一，关于他还有一个励志的故事[Kenneth Reitz的逆袭之路]

◆ ◆ ◆

使用方法

records库的使用非常简单且人性化，定义数据库连接串和sql语句，然后将返回值作为rows打印出来，或者输出为文件，没有复杂的orm逻辑，实现逻辑很清晰 

import recordsdb = records.Database('postgres://...')rows = db.query('select * from active_users')    # or db.query_file('sqls/active-users.sql')>>> rows[0]<Record {"username": "model-t", "active": true, "name": "Henry Ford", "user_email": "model-t@gmail.com"}>for r in rows:    print(r.name, r.user_email)

◆ ◆ ◆

依赖库

records有一些pip依赖，每个依赖项的作用如下： 

1)psycopg2==2.6.1'''psycopg2是python操作PostgreSQL数据库的库,但是在records的代码里并没有看到哪里有使用，sqlalchemy毕竟已经支持了postgresql,    而psycopg2是官方指定推荐的python driver'''2)py==1.4.31'''library with cross-python path, ini-parsing, io, code, log facilities'''3)pytest==2.8.7'''python单元测试'''4)tablib==0.11.1'''tablib：用于导出xls、csv、yaml等格式，records中的主要功能之二:导出sql查询的结果参考链接：http://www.open-open.com/lib/view/open1410700050414.html官方文档:https://pypi.python.org/pypi/tablib'''5)sqlalchemy==1.0.11'''用于数据库操作，python中最有名的ORM框架，records的主要功能：基于sqlalchemy进行封装sqlalchemy: Python中，最有名的ORM框架是SQLAlchemy参考文章：1参考文章：http://www.jb51.net/article/49789.htm参考文章：http://blog.csdn.net/mmx/article/details/48064109import text： sqlalchemy推荐使用text()函数封装一下sql字符串create_engine：建立数据库连接引擎import declarative_base: 使用sqlalchemy.ext.declarative 来生成表, 所有的表都必须有主键.''' '''6)docopt==0.6.2'''docopt根据你写的文档描述,自动为你生成解析器,可以非常容易的为你的python程序创建命令行界面，用于很多库的命令行指引。'''

◆ ◆ ◆

源码分析工具

建议的源码分析工具：pycharm3.x （运行调试）+ Source Insight 4.0（展示类/变量/方法结构图）

Source insight是一款很不错的阅读源码的工具，支持很多语言，有些人说好像3版本默认不支持python,需要配置，我下载的 Source Insight 4.0，没这个问题，打开就可以用。 

◆ ◆ ◆

代码结构

Database类：

封装基本数据库操作，主要使用query方法，调用SQLAlchemy的方法，获取结果后调用Record类获得Record生成器，再调用RecordCollection获得所有的结果

* 调用sqlalchemy中的declarative_base获取table的所有表名metadata = declarative_base().metadatametadata.reflect(create_engine(self.db_url))return metadata.tables.keys()*  实现query_file和transaction，可以使用本地sql文件，支持事务。*  _enter__和__exit__配合，实现with数据库上下文管理器Python

Record类：

接收database查询后的keys和rows，初始化时，检测是否长度一致，然后对其包装，使其支持迭代，支持直接to_dict转为dict对象，支持直接export导出。 

除了基本的[0]索引形式，Record方法使其支持字符串查询，属性查询，支持get属性查询1)支持以字符串的形式索引查找if key in self.keys():   i = self.keys().index(key)   return self.values()[i]2)支持以属性的形式查询try:     return self[key]except KeyError as e:     raise AttributeError(e)3）支持get查询：try:    return self[key]except KeyError:    return default4）通过tablib库，实现dataset属性：转为各种格式输出（json/txt/csv）def dataset(self):        data = tablib.Dataset()        data.headers = self.keys()        row = _reduce_datetimes(self.values())        data.append(row)        return data

RecordCollection类：

部分方法和Record类相同，但RecordCollection实现了first方法，获取第一个row，如果不存在，则默认default为none,如果defalut本身就是实例或者exception的子类，直接抛出异常，另外，实现了一次实例化后多次查询时的缓存。 

i == 0while True:    # Other code may have iterated between yields,    # so always check the cache.    if i < len(self):        yield self[i]    else:        # Throws StopIteration when done.        yield next(self)    i += 1

全局变量和方法:

1)_reduce_datetimes方法，在tablib转为json等格式输出时，转化row中的时间字段。row = list(row)for i in range(len(row)):if hasattr(row[i], 'isoformat'):row[i] = row[i].isoformat()return tuple(row)2）cli主方法，通过docopt获取命令行输入的参数，做合法检测等arguments = docopt(cli_docs)# Create the Database.db = Database(arguments['--url'])query = arguments['<query>']params = arguments['<params>']

基础概念： 

1）获取系统环境变量，records中，初始化时传入数据库url，如果没传，才去找系统变量中的urlself.db_url = db_url or DATABASE_URLDATABASE_URL = os.environ.get('DATABASE_URL')'''os.environ    获取系统环境变量参考文档：http://blog.csdn.net/junweifan/article/details/7615591'''2）限制class的属性__slots__ = ('_keys', '_values')3）变量和方法名汇总"""        变量:        1.  前带_的变量:  标明是一个私有变量, 只用于标明, 外部类还是可以访问到这个变量        2.  前带两个_ ,后带两个_ 的变量:  标明是内置变量,        3.  大写加下划线的变量:  标明是 不会发生改变的全局变量        函数:        1. 前带_的变量: 标明是一个私有函数, 只用于标明,        2.  前带两个_ ,后带两个_ 的函数:  标明是特殊函数        参考文章：        http://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000/001386820042500060e2921830a4adf94fb31bcea8d6f5c000        http://blog.163.com/zhulp0372@yeah/blog/static/11589447920132541933516/        http://blog.csdn.net/debugm/article/details/8179482        """4）repr和str的区别http://www.cnpythoner.com/post/251.html5)_ _getitem__和__setitem__为特殊方法，做重新定义用于实现某些get的属性的校验需求,参考示例：http://www.jb51.net/article/87447.htm此处用于判断：key是int型还是string型，不同的get逻辑print(row[1])print(row["name"])6)重载 __getattr__ 和 __setattr__来拦截对成员的访问，需要注意的是 __getattr__ 只有在访问不存在的成员时才会被调用参考示例：http://www.360doc.com/content/14/0322/02/9482_362601063.shtmlprint(row.name) //获取属性，仍然调用__getitem__7)OrderedDict"""  OrderedDict提供了一个有序的字典结构,记录了每个键值对添加的顺序,如果初始化的时候同时传入多个参数，它们的顺序是随机的，不会按照位置顺序存储。"""return OrderedDict(items) if ordered else dict(items)8)@property装饰器负责把dataset方法变成属性调用9)__next__和__iter__构造迭代器

◆ ◆ ◆

测试demo

# -*- coding: utf-8 -*-# import recordsfrom source_code.records import recordsfrom sqlalchemy import *def demo():    a = 1    if a == 1:        raise IOError("SSS")def demo1():    db = records.Database('mysql://root:root@localhost:3306/ceshi')    rows = db.query("select * from cece")    row = rows[0]    print(row.keys)    print(row.values)    print(row[1])    print(row["name"])    print("---")    print(row.as_dict())def demo2():    mysql_engine = create_engine('mysql://root:root@localhost:3306/ceshi')    connection = mysql_engine.connect()    result = connection.execute("select * from cece")    print(result.keys())if __name__ == '__main__':    demo1()    demo2()

◆ ◆ ◆

长按识别

关注 技术90分