教程总体简介：ToutiaoWeb虚拟机使用说明、Pycharm远程开发、产品与开发、数据库、数据库设计、APScheduler定时任务、定时修正统计数据、RPC简介、RPC结构、gRPC、简介、RPC、Protocol Buffers、推荐系统接口定义、补全服务端、编写客户端、头条首页新闻推荐接口编写、即时通讯简介、WebSocket、即时通讯、Socket.IO、头条聊天服务实现、头条在线消息推送实现、Elasticsearch、简介与原理、概念与集群、IK中文分析器、索引与类型、文档、Logstash导入数据、查询、头条全文检索实现、联想提示、头条suggest查询实现、单元测试、Gunicorn、Supervisor、部署相关、理解ORM、SQLAlchemy映射构建、SQLAlchemy操作、数据库理论、分布式ID、数据库优化、Redis、Git工用流、Gitflow工作流、Git总结、头条项目目录、调试方法、JWT & JWS & JWE、JWT的Python库、头条项目实施方案、JWT禁用问题、JWT认证方案、OSS对象存储、CDN、缓存、缓存架构、缓存数据、缓存有效期与淘汰策略、缓存模式、缓存问题、头条项目缓存与存储设计、头条项目缓存实现、项目Redis持久存储实现、APScheduler使用
juejin.cn/post/752096…
juejin.cn/post/751194…
全套教程部分目录：
数据库
-
数据库设计
-
SQLAlchemy
-
数据库理论
-
分布式ID
-
Redis
SQLAlchemy操作
1 新增
user = User(mobile='15612345678', name='itcast')
db.session.add(user)
db.session.commit()
profile = Profile(id=user.id)
db.session.add(profile)
db.session.commit()
对于批量添加也可使用如下语法
db.session.add_all([user1, user2, user3])
db.session.commit()
2 查询
all()
查询所有，返回列表
User.query.all()
first()
查询第一个，返回对象
User.query.first()
get()
根据主键ID获取对象，若主键不存在返回None
User.query.get(2)
另一种查询方式
db.session.query(User).all()
db.session.query(User).first()
db.session.query(User).get(2)
filter_by
进行过虑
User.query.filter_by(mobile='13911111111').first()
User.query.filter_by(mobile='13911111111', id=1).first() # and关系
filter
进行过虑
User.query.filter(User.mobile=='13911111111').first()
逻辑或
from sqlalchemy import or_
User.query.filter(or_(User.mobile=='13911111111', User.name.endswith('号'))).all()
逻辑与
from sqlalchemy import and_
User.query.filter(and_(User.name != '13911111111', User.mobile.startswith('185'))).all()
逻辑非
from sqlalchemy import not_
User.query.filter(not_(User.mobile == '13911111111')).all()
offset
偏移，起始位置
User.query.offset(2).all()
limit
获取限制数据
User.query.limit(3).all()
order_by
排序
User.query.order_by(User.id).all() # 正序
User.query.order_by(User.id.desc()).all() # 倒序
复合查询
User.query.filter(User.name.startswith('13')).order_by(User.id.desc()).offset(2).limit(5).all()
query = User.query.filter(User.name.startswith('13'))
query = query.order_by(User.id.desc())
query = query.offset(2).limit(5)
ret = query.all()
优化查询
user = User.query.filter_by(id=1).first() # 查询所有字段
select user_id, mobile......
select * from # 程序不要使用
select user_id, mobile,.... # 查询指定字段
from sqlalchemy.orm import load_only
User.query.options(load_only(User.name, User.mobile)).filter_by(id=1).first() # 查询特定字段
聚合查询
from sqlalchemy import func
db.session.query(Relation.user_id, func.count(Relation.target_user_id)).filter(Relation.relation == Relation.RELATION.FOLLOW).group_by(Relation.user_id).all()
关联查询
1. 使用ForeignKey
class User(db.Model):
...
profile = db.relationship('UserProfile', uselist=False)
followings = db.relationship('Relation')
class UserProfile(db.Model):
id = db.Column('user_id', db.Integer, db.ForeignKey('user_basic.user_id'), primary_key=True, doc='用户ID')
...
class Relation(db.Model):
user_id = db.Column(db.Integer, db.ForeignKey('user_basic.user_id'), doc='用户ID')
...
# 测试
user = User.query.get(1)
user.profile.gender
user.followings
2. 使用primaryjoin
class User(db.Model):
...
profile = db.relationship('UserProfile', primaryjoin='User.id==foreign(UserProfile.id)', uselist=False)
followings = db.relationship('Relation', primaryjoin='User.id==foreign(Relation.user_id)')
# 测试
user = User.query.get(1)
user.profile.gender
user.followings
3. 指定字段关联查询
class Relation(db.Model):
...
target_user = db.relationship('User', primaryjoin='Relation.target_user_id==foreign(User.id)', uselist=False)
from sqlalchemy.orm import load_only, contains_eager
Relation.query.join(Relation.target_user).options(load_only(Relation.target_user_id), contains_eager(Relation.target_user).load_only(User.name)).all()
3 更新
- 方式一
user = User.query.get(1)
user.name = 'Python'
db.session.add(user)
db.session.commit()
- 方式二
User.query.filter_by(id=1).update({'name':'python'})
db.session.commit()
4 删除
- 方式一
user = User.query.order_by(User.id.desc()).first()
db.session.delete(user)
db.session.commit()
- 方式二
User.query.filter(User.mobile='18512345678').delete()
db.session.commit()
5 事务
environ = {'wsgi.version':(1,0), 'wsgi.input': '', 'REQUEST_METHOD': 'GET', 'PATH_INFO': '/', 'SERVER_NAME': 'itcast server', 'wsgi.url_scheme': 'http', 'SERVER_PORT': '80'}
with app.request_context(environ):
try:
user = User(mobile='18911111111', name='itheima')
db.session.add(user)
db.session.flush() # 将db.session记录的sql传到数据库中执行
profile = UserProfile(id=user.id)
db.session.add(profile)
db.session.commit()
except:
db.session.rollback()
数据库
-
数据库设计
-
SQLAlchemy
-
数据库理论
-
分布式ID
-
Redis
数据库理论
1. 复制集与分布式
-
复制集（Replication）
- 数据库中数据相同，起到备份作用
- 高可用 High Available HA
-
分布式（Distribution）
- 数据库中数据不同，共同组成完整的数据集合
- 通常每个节点被称为一个分片（shard)
- 高吞吐 High Throughput
-
复制集与分布式可以单独使用，也可以组合使用（即每个分片都组建一个复制集）
-
关于主（Master）从（Slave）
-
这个概念是从使用的角度来阐述问题的
-
主节点 -> 表示程序在这个节点上最先更新数据
-
从节点 -> 表示这个节点的数据是要通过复制主节点而来
-
复制集 可选 主从、主主、主主从从
-
分布式 每个分片都是主，组合使用复制集的时候，复制集的是从
-
2. MySQL
1） 主从复制
复制分成三步：
- master将改变记录到二进制日志(binary log)中（这些记录叫做二进制日志事件，binary log events）；
- slave将master的binary log events拷贝到它的中继日志(relay log)；
- slave重做中继日志中的事件，将改变反映它自己的数据。
下图描述了这一过程：
该过程的第一部分就是master记录二进制日志。在每个事务更新数据完成之前，master在二日志记录这些改变。MySQL将事务串行的写入二进制日志，即使事务中的语句都是交叉执行的。在事件写入二进制日志完成后，master通知存储引擎提交事务。
下一步就是slave将master的binary log拷贝到它自己的中继日志。首先，slave开始一个工作线程——I/O线程。I/O线程在ma
