-
MongoDB用起来-快速上手&集群和安全系列
-
基础篇目标：
- 能理解MongoDB的业务场景，熟悉MongoDB的简介、特点和体系结构、数据类型等
- 能够在windows和Linux下安装和启动MongoDB、图形化管理界面Compass的安装使用
- 掌握MongoDB基本常用命令实现数据的CRUD
- 掌握MongoDB的索引类型、索引管理、执行计划
- 使用Spring Data MongoDB完成文章评论业务的开发
-
集群篇目标：
- MongoDB的副本集：操作、主要概念、故障转移、选举规则
- MongoDB的分片集群：概念、优缺点、操作、分片策略、故障转移
- MongoDB的安全认证
MongoDB基础篇
1. MongoDB相关概念
1.1业务应用场景
-
传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。
-
解释：“三高”需求：
- High performance - 对数据库高并发读写的需求
- Huge Storage - 对海量数据的高效率存储和访问的需求
- High Scalability && High Availability- 对数据库的高可扩展性和高可用性的需求
-
而MongoDB可应对“三高”要求，具体应用场景如下：
- 社交场景，使用 MongoDB 存储用户信息，以及用户发表的朋友圈信息，通过地理位置索引实现附近的人、地点等功能
- 游戏场景，使用 MongoDB 存储游戏用户信息，用户的装备、积分等直接以内嵌文档的形式存储，方便查询、高效率存储和访问
- 物流场景，使用 MongoDB 存储订单信息，订单状态在运送过程中会不断更新，以 MongoDB 内嵌数组的形式来存储，一次查询就能将订单所有的变更读取出来
- 物联网场景，使用 MongoDB 存储所有接入的智能设备信息，以及设备汇报的日志信息，并对这些信息进行多维度的分析
- 视频直播，使用 MongoDB 存储用户信息、点赞互动信息等
-
这些应用场景中，数据操作方面的共同特点是：
-
数据量大
-
写入操作频繁（读写都很频繁）
-
价值较低的数据，对事务性要求不高
对于这样的数据，我们更适合使用MongoDB来实现数据的存储
-
什么时候选择MongoDB
-
在架构选型上，除了上述的三个特点外，如果你还犹豫是否要选择它？可以考虑以下的一些问题：
- 应用不需要事务及复杂 join 支持
- 新应用，需求会变，数据模型无法确定，想快速迭代开发
- 应用需要2000-3000以上的读写QPS（更高也可以）
- 应用需要TB甚至 PB 级别数据存储
- 应用发展迅速，需要能快速水平扩展
- 应用要求存储的数据不丢失
- 应用需要99.999%高可用
- 应用需要大量的地理位置查询、文本查询
如果上述有1个符合，可以考虑 MongoDB，2个及以上的符合，选择 MongoDB 绝不会后悔
-
相对MySQL，可以以更低的成本解决问题（包括学习、开发、运维等成本）
1.2MongoDB简介
- MongoDB是一个开源、高性能、无模式的文档型数据库，当初的设计就是用于简化开发和方便扩展，是NoSQL数据库产品中的一种。是最像关系型数据库（MySQL）的非关系型数据库
- 它支持的数据结构非常松散，是一种类似于 JSON 的 格式叫BSON，所以它既可以存储比较复杂的数据类型，又相当的灵活
- MongoDB中的记录是一个文档，它是一个由字段和值对（fifield:value）组成的数据结构。MongoDB文档类似于JSON对象，即一个文档认为就是一个对象。字段的数据类型是字符型，它的值除了使用基本的一些类型外，还可以包括其他文档、普通数组和文档数组
1.3体系结构
MySQL和MongoDB对比
-
-
SQL术语/概念 MongoDB术语/概念 解释/说明 database database 数据库 table collection 表/集合 row document 记录/文档 column field 字段/域 index index 索引 table joins 表连接/MongoDB不支持 嵌入文档 MongoDB通过嵌入式文档来替代多表连接 primary key primary key 主键/MongoDB自动将_id字段设为主键
1.4数据模型
-
MongoDB的最小存储单位就是文档(document)对象。文档(document)对象对应于关系型数据库的行。数据在MongoDB中以BSON（Binary-JSON）文档的格式存储在磁盘上
- BSON（Binary Serialized Document Format）是一种类json的一种二进制形式的存储格式，简称Binary JSON。BSON和JSON一样，支持内嵌的文档对象和数组对象，但是BSON有JSON没有的一些数据类型，如Date和BinData类型
- BSON采用了类似于 C 语言结构体的名称、对表示方法，支持内嵌的文档对象和数组对象，具有轻量性、可遍历性、高效性的三个特点，可以有效描述非结构化数据和结构化数据。这种格式的优点是灵活性高，但它的缺点是空间利用率不是很理想
- Bson中，除了基本的JSON类型：string,integer,boolean,double,null,array和object，mongo还使用了特殊的数据类型。这些类型包括date,object id,binary data,regular expression 和code。每一个驱动都以特定语言的方式实现了这些类型，查看你的驱动的文档来获取详细信息
-
BSON数据类型参考列表：
| 数据类型 | 描述 | 举例 |
|---|---|---|
| 字符串 | UTF-8字符串都可表示为字符串类型的数据 | {"x" : "foobar"} |
| 对象id | 对象id是文档的12字节的唯一 ID | {"X" :ObjectId() } |
| 布尔值 | 真或者假：true或者false | {"x":true}+ |
| 数组 | 值的集合或者列表可以表示成数组 | {"x" ： ["a", "b", "c"]} |
| 32位整数 | 类型不可用。JavaScript仅支持64位浮点数，所以32位整数会被自动转换 | shell是不支持该类型的，shell中默认会转换成64位浮点数 |
| 64位整数 | 不支持这个类型。shell会使用一个特殊的内嵌文档来显示64位整数 | shell是不支持该类型的，shell中默认会转换成64位浮点数 |
| 64位浮点数 | shell中的数字就是这一种类型 | {"x"：3.14159，"y"：3} |
| null | 表示空值或者未定义的对象 | {"x":null} |
| undefifined | 文档中也可以使用未定义类型 | {"x":undefifined} |
| 符号 | shell不支持，shell会将数据库中的符号类型的数据自动转换成字符串 | |
| 正则表达式 | 文档中可以包含正则表达式，采用JavaScript的正则表达式语法 | {"x" ： /foobar/i} |
| 代码 | 文档中还可以包含JavaScript代码 | {"x" ： function() {/* …… */}} |
| 二进制数据 | 二进制数据可以由任意字节的串组成，不过shell中无法使用 | |
| 最大值/最小值 | BSON包括一个特殊类型，表示可能的最大值。shell中没有这个类型 |
- 提示：
- shell默认使用64位浮点型数值。{“x”：3.14}或{“x”：3}。对于整型值，可以使用NumberInt（4字节符号整数）或NumberLong（8字节符号整数），{“x”:NumberInt(“3”)}{“x”:NumberLong(“3”)}
1.5MongoDB的特点
高性能
- MongoDB提供高性能的数据持久性。特别是对嵌入式数据模型的支持减少了数据库系统上的I/O活动。索引支持更快的查询，并且可以包含来自嵌入式文档和数组的键。（文本索引解决搜索的需求、TTL索引解决历史数据自动过期的需求、地理位置索引可用于构建各种 O2O 应用）
- mmapv1、wiredtiger、mongorocks（rocksdb）、in-memory 等多引擎支持满足各种场景需求
- Gridfs解决文件存储的需求
高可用性
- MongoDB的复制工具称为副本集（replica set），它可提供自动故障转移和数据冗余
高扩展性
- MongoDB提供了水平可扩展性作为其核心功能的一部分
- 分片将数据分布在一组集群的机器上。（海量数据存储，服务能力水平扩展）
- 从3.4开始，MongoDB支持基于片键创建数据区域。在一个平衡的集群中，MongoDB将一个区域所覆盖的读写只定向到该区域内的那些片
丰富的查询支持
- MongoDB支持丰富的查询语言，支持读和写操作(CRUD)，比如数据聚合、文本搜索和地理空间查询等
其他特点
- 无模式（动态模式）
- 灵活的文档模型
2. 单机部署(Linux)
2.1 下载
官网
版本选择
-
MongoDB的版本命名规范如：x.y.z；
y为奇数时表示当前版本为开发版，如：1.5.2、4.1.13；
y为偶数时表示当前版本为稳定版，如：1.6.3、4.0.10；
z是修正版本号，数字越大越好
-
详细信息：版本选择
2.2安装
1.解压缩
- tar -zxvf mongodb-linux-x86_64-4.0.10.tgz
2.移动解压后的文件夹到指定的目录中
- mv mongodb-linux-x86_64-4.0.10 /usr/local/mongodb
3.新建几个目录，存储数据和日志
-
#数据存储目录 mkdir -p /mongodb/single/data/db #日志存储目录 mkdir -p /mongodb/single/log
4.新建并修改配置文件
-
vim /mongodb/single/mongod.conf
-
一定要注意空格
-
内容：
systemLog: #MongoDB发送所有日志输出的目标指定为文件 ##The path of the log file to which mongod or mongos should send all diagnostic logging information destination: file #mongod或mongos应向其发送所有诊断日志记录信息的日志文件的路径 path: "/mongodb/single/log/mongod.log" #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。 logAppend: true storage: #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。 ##The directory where the mongod instance stores its data.Default Value is "/data/db". dbPath: "/mongodb/single/data/db" journal: #启用或禁用持久性日志以确保数据文件保持有效和可恢复。 enabled: true processManagement: #启用在后台运行mongos或mongod进程的守护进程模式。 fork: true net: #服务实例绑定的IP，默认是localhost bindIp: localhost,192.168.83.133 #bindIp #绑定的端口，默认是27017 port: 27017
-
5.启动MongoDB服务
- /usr/local/mongodb/bin/mongod -f /mongodb/single/mongod.conf
- 注意：如果启动后不是 successfully ，则是启动失败,原因基本上就是配置文件有问题
- 通过进程查看服务是否启动成功
- ps -ef|grep mongod
6.测试连接
-
通过mongo命令测试
-
通过compass工具测试
-
注意：防火墙状态设置
7.服务停止
-
通过mongo客户端中的shutdownServer命令来关闭服务
-
#客户端登录服务，注意，这里通过localhost登录，如果需要远程登录，必须先登录认证才行。 mongo --port 27017 #切换到admin库 use admin #关闭服务 db.shutdownServer() -
3. 基本常用命令(*)
3.1案例需求
-
存放文章评论的数据存放到MongoDB中，数据结构参考如下：
-
数据库：articledb
-
专栏文章评论 comment 字段名称 字段含义 字段类型 备注 _id ID ObjectId或String Mongo的主键字段 articleid 文章ID String content 评论内容 String userid 评论人ID String nickname 评论人昵称 String createdatetime 评论的日期时间 Date likenum 点赞数 Int32 replynum 回复数 Int32 state 状态 String 0：不可见;1可见 parentid 上级ID String 如果为0表示文章的顶级评论
-
-
3.2 数据库操作
3.2.1 选择和创建数据库
-
选择和创建数据库的语法格式
use 数据库名称 -
如果数据库不存在则自动创建，例如，以下语句创建articledb数据库
use articledb注：这时articledb存在在内存中，还未持久化到磁盘，所有show dbs不会看到articledb
-
查看拥有权限的所有的数据库
show dbs 或 show databases注意：在MongoDB中，集合只有在内容插入后才会创建！创建集合(数据表)后要再插入一个文档(记录)，集合才会真正创建
-
查看当前正在使用的数据库命令
dbMongoDB中默认的数据库为test，如果你没有选择数据库，集合将存放在test数据库中
-
另外，数据库名可以是满足以下条件的任意UTF-8字符串
不能是空字符串（"")。
不得含有' '（空格)、.、$、/、\和\0 (空字符)。
应全部小写。
最多64字节。
-
有一些数据库名是保留的，可以直接访问这些有特殊作用的数据库。
admin： 从权限的角度来看，这是"root"数据库。要是将一个用户添加到这个数据库，这个用户自动继承所有数据库的权限。一些特定的服务器端命令也只能从这个数据库运行，比如列出所有的数据库或者关闭服务器。local: 这个数据永远不会被复制，可以用来存储限于本地单台服务器的任意集合
confifig: 当Mongo用于分片设置时，confifig数据库在内部使用，用于保存分片的相关信息。
3.2.2 数据库的删除
-
MongoDB删除数据库的语法格式如下：
db.dropDatabase()提示：主要用来删除已经持久化的数据库
3.3 集合操作
- 集合，类似关系型数据库中的表，可以显示的创建，也可以隐式的创建
- 集合的命名规范：
- 集合名不能是空字符串""
- 集合名不能含有\0字符（空字符)，这个字符表示集合名的结尾
- 集合名不能以"system."开头，这是为系统集合保留的前缀
- 用户创建的集合名字不能含有保留字符。有些驱动程序的确支持在集合名里面包含，这是因为某些系统生成的集合中包含该字符。除非你要访问这种系统创建的集合，否则千万不要在名字里出现$
3.3.1 集合的显示创建(了解)
-
基本语法格式：
db.createCollection(name) -
示例：创建一个名为mycollection的集合
db.createCollection("mycollection") -
查看当前库中的表
show tables 或 show collections
3.3.2 集合的隐式创建
-
当向一个集合中插入一个文档的时候，如果集合不存在，则会自动创建集合，详见 3.4.1文档的插入
-
提示：通常我们使用隐式创建文档即可。
3.3.3 集合的删除
-
语法格式：
db.集合名.drop() -
如果成功删除选定集合，则 drop() 方法返回 true，否则返回 false
3.4 文档基本的CRUD
- 文档（document）的数据结构和 JSON 基本一样，所有存储在集合中的数据都是 BSON 格式
3.4.1 文档的插入
-
单个文档插入
-
使用insert()或save()方法向集合中插入文档，语法如下：
db.collectionName.insert( <document or array of documents>, { writeConcern: <document>, ordered: <boolean> } ) -
参数说明：
Parameter Type Description document document or array 要插入到集合中的文档或文档数组(json格式) writeConcern document Optional. A document expressing the write concern. Omit to use the default write concern,See Write Concern.Do not explicitly set the write concern for the operation if run in a transaction. To use write concern with transactions, see Transactions and Write Concern ordered boolean 可选。如果为真，则按顺序插入数组中的文档，如果其中一个文档出现错误，MongoDB将返回而不处理数组中的其余文档。如果为假，则执行无序插入，如果其中一个文档出现错误，则继续处理数组中的主文档。在版本2.6+中默认为true -
示例：向comment的集合中插入一条测试数据
db.comment.insert({"articleid":"100000","content":"今天天气真好，阳光明 媚","userid":"1001","nickname":"Rose","createdatetime":new Date(),"likenum":NumberInt(10),"state":null}) -
提示：
- comment集合如果不存在，则会隐式创建
- mongo中的数字，默认情况下是double类型，如果要存整型，必须使用函数NumberInt(整型数字)，否则取出来就有问题了
- 插入当前日期使用 new Date()
- 插入的数据没有指定 _id ，会自动生成主键值
- 如果某字段没值，可以赋值为null，或不写该字段
-
WriteResult({ "nInserted" : 1 }) 说明插入一条数据成功
-
说明：
- 文档中的键/值对是有序的
- 文档中的值不仅可以是在双引号里面的字符串，还可以是其他几种数据类型（甚至可以是整个嵌入的文档)
- MongoDB区分类型和大小写
- MongoDB的文档不能有重复的键
- 文档的键是字符串。除了少数例外情况，键可以使用任意UTF-8字符。
-
注意文档键命名规范
- 键不能含有\0 (空字符)。这个字符用来表示键的结尾
- 和$有特别的意义，只有在特定环境下才能使用
- 以下划线"_"开头的键是保留的(不是严格要求的)。
-
-
批量插入
-
语法
db.collection.insertMany( [ <document 1> , <document 2>, ... ], { writeConcern: <document>, ordered: <boolean> } ) -
示例：批量插入多条文章评论
db.comment.insertMany([ {"_id":"1","articleid":"100001","content":"我们不应该把清晨浪费在手机上，健康很重要，一杯温水幸福你我 他。","userid":"1002","nickname":"相忘于江湖","createdatetime":new Date("2019-08- 05T22:08:15.522Z"),"likenum":NumberInt(1000),"state":"1"}, {"_id":"2","articleid":"100001","content":"我夏天空腹喝凉开水，冬天喝温开水","userid":"1005","nickname":"伊人憔 悴","createdatetime":new Date("2019-08-05T23:58:51.485Z"),"likenum":NumberInt(888),"state":"1"}, {"_id":"3","articleid":"100001","content":"我一直喝凉开水，冬天夏天都喝。","userid":"1004","nickname":"杰克船 长","createdatetime":new Date("2019-08-06T01:05:06.321Z"),"likenum":NumberInt(666),"state":"1"}, {"_id":"4","articleid":"100001","content":"专家说不能空腹吃饭，影响健康。","userid":"1003","nickname":"凯 撒","createdatetime":new Date("2019-08-06T08:18:35.288Z"),"likenum":NumberInt(2000),"state":"1"}, {"_id":"5","articleid":"100001","content":"研究表明，刚烧开的水千万不能喝，因为烫 嘴。","userid":"1003","nickname":"凯撒","createdatetime":new Date("2019-08- 06T11:01:02.521Z"),"likenum":NumberInt(3000),"state":"1"} ]); -
插入时指定了 _id ，则主键就是该值,
如果某条数据插入失败，将会终止插入，但已经插入成功的数据不会回滚掉
因为批量插入由于数据较多容易出现失败，因此，可以使用try catch进行异常捕捉处理，测试的时候可以不处理
-
3.4.2 文档的基本查询
-
基本语法
db.collectionName.find(<query>, [projection]) -
参数说明
-
Parameter Type Description query document 可选。使用查询运算符指定选择筛选器。若要返回集合中的所有文档，请省略此参数或传递空文档({}) projection document 可选。指定要在与查询筛选器匹配的文档中返回的字段（投影）。若要返回匹配文档中的所有字段，请省略此参数
-
-
示例：
-
查询所有
db.comment.find() 或 db.comment.find({})这里你会发现每条文档会有一个叫_id的字段，这个相当于我们原来关系数据库中表的主键，当你在插入文档记录时没有指定该字段，MongoDB会自动创建，其类型是ObjectID类型
如果我们在插入文档记录时指定该字段也可以，其类型可以是ObjectID类型，也可以是MongoDB支持的任意类型
-
按条件查询(所有)
-
查询userid为1003的记录——只 要在find()中添加参数即可，参数也是json格式，如下：
-
db.comment.find({"userid":"1003"}) -
-
-
按条件查询(唯一)
-
如果你只需要返回符合条件的第一条数据，我们可以使用findOne命令来实现，语法和fifind一样
-
查询用户编号是1003的记录，但只最多返回符合条件的第一条记录
-
db.comment.findOne({userid:'1003'}) -
-
-
投影查询（Projection Query,默认 _id 会显示
-
如果要查询结果返回部分字段，则需要使用投影查询（不显示所有字段，只显示指定的字段）
-
查询结果只显示 _id、userid、nickname ,默认 _id 会显示
-
db.comment.find({userid:"1003"},{userid:1,nickname:1}) -
-
-
投影查询（Projection Query,不显示_id
-
查询结果只显示 、userid、nickname ，不显示 _id
-
db.comment.find({userid:"1003"},{userid:1,nickname:1,_id:0}) -
-
-
查询所有，选择字段展示
-
查询所有数据，但只显示 _id、userid、nickname
-
db.comment.find({},{userid:1,nickname:1}) -
-
-
3.4.3 文档的更新
-
基本语法
db.collection.update(query, update, options) //或 db.collection.update( <query>, <update>, { upsert: <boolean>, multi: <boolean>, writeConcern: <document>, collation: <document>, arrayFilters: [ <filterdocument1>, ... ], hint: <document|string> // Available starting in MongoDB 4.2 } ) -
参数
Parameter Type Description query document 更新的选择条件。可以使用与fifind（）方法中相同的查询选择器，类似sql update查询内where后面的。在3.0版中进行了更改：当使用upsert:true执行update（）时，如果查询使用点表示法在_id字段上指定条件，则MongoDB将拒绝插入新文档。 multi boolean 可选。如果设置为true，则更新符合查询条件的多个文档。如果设置为false，则更新一个文档。默认值为false update document or pipeline 要应用的修改。该值可以是：包含更新运算符表达式的文档，或仅包含：对的替换文档，或在MongoDB 4.2中启动聚合管道 upsert boolean 可选。如果设置为true，则在没有与查询条件匹配的文档时创建新文档。默认值为false，如果找不到匹配项，则不会插入新文档 writeConcern document 可选。表示写问题的文档。抛出异常的级别 collation document 可选。指定要用于操作的校对规则。校对规则允许用户为字符串比较指定特定于语言的规则，例如字母大小写和重音标记的规则 arrayFilters array 可选。一个筛选文档数组，用于确定要为数组字段上的更新操作修改哪些数组元素。在更新文档中，使用[标识符]）都必须指定一个对应的数组筛选器文档。也就是说，不能为同一标识符指定多个数组筛选器文档。3.6版 hint document or String 可选。指定用于支持查询谓词的索引的文档或字符串。该选项可以采用索引规范文档或索引名称字符串。如果指定的索引不存在，则说明操作错误。例如，请参阅版本4中的“为更新操作指定提示。 主要关注前四个参数即可
-
示例
-
覆盖修改
-
修改_id为1的记录，点赞量为1001
-
db.comment.update({_id:"1"},{likenum:NumberInt(1002)}) -
-
执行后会发现，这条文档除了likenum字段其它字段都不见了
-
-
局部修改
-
为了解决这个问题，需要使用修改器$set来实现，修改_id为2的记录，回复数为889
-
db.comment.update({_id:"2"},{$set:{replynum:NumberInt(889)}}) -
-
-
批量修改
-
更新所有userid为 1003 的用户的昵称为 mongodb
-
//默认只修改第一条数据 db.comment.update({userid:"1003"},{$set:{nickname:"mongodb"}}) //修改所有符合条件的数据 db.comment.update({userid:"1003"},{$set:{nickname:"mongodb"}},{multi:true}) -
-
如果不加参数 {multi:true}，则只更新符合条件的第一条记录
-
-
列值增长的修改
-
如果我们想实现对某列值在原有值的基础上进行增加或减少，可以使用 $inc 运算符来实现
-
需求：id为3的用户的点赞数，每次递增1
-
db.comment.update({_id:"3"},{$inc:{likenum:NumberInt(1)}})
-
-
3.4.4 删除文档
-
基本语法
db.集合名称.remove(条件) -
如果删除_id=1的记录，输入以下语句
db.comment.remove({_id:"1"}) -
以下语句可以将数据全部删除，请慎用
db.comment.remove({})
3.5 文档的分页查询
3.5.1 统计查询
-
统计查询使用count()方法，基本语法：
db.collction.count(query,options) -
参数
Parameter Type Description query document 查询选择条件 options document 可选，用于修改计数的额外选项 -
示例
-
统计comment集合的所有记录数
db.comment.count() -
按条件统计记录数
db.comment.count({userid:"1003"}) -
-
3.5.2 分页列表查询
-
可以使用limit()方法来读取指定数量的数据，使用skip()方法来跳过指定数量的数据
-
基本语法
db.comment.find().limit(Number).skip(Number) -
如果你想返回指定条数的记录，可以在fifind方法后调用limit来返回结果(TopN)，默认值20;
skip方法同样接受一个数字参数作为跳过的记录条数,（前N个不要）,默认值是0
-
分页查询：需求：每页2个，第二页开始：跳过前两条数据，接着值显示3和4条数据
-
//第一页 显示头两条 db.comment.find().limit(2).skip(2) //第二页 显示3和4 db.comment.find().limit(2).skip(2) //第三页显示第五条 db.comment.find().limit(2).skip(4) -
-
3.5.3 排序查询
-
sort() 方法对数据进行排序，sort() 方法可以通过参数指定排序的字段，并使用 1 和 -1 来指定排序的方式，其中 1 为升序排列，而 -1 是用于降序排列
-
基本语法
db.COLLECTION_NAME.find().sort({KEY:1}) 或 db.COLLECTION_NAME.find().sort(排序方式) -
对userid降序排列，并对访问量进行升序排列
-
-
注：skip(), limilt(), sort()三个放在一起执行的时候，执行的顺序是先 sort(), 然后是 skip()，最后是显示的 limit()，和命令编写顺序无关。
3.6 文档的更多查询
3.6.1 正则的复杂查询
-
MongoDB的模糊查询是通过正则表达式的方式实现的
-
基本语法
db.collection.find({field:/正则表达式/}) 或 db.集合.find({字段:/正则表达式/}) -
提示：正则表达式是js的语法，直接量的写法
-
查询评论内容包含“开水”的所有文档
db.comment.find({content:/开水/}) -
要查询评论的内容中以“专家”开头的
db.comment.find({content:/^专家/})
3.6.2 比较查询
-
<, <=, >, >= 这些操作符也是很常用的
-
基本语法
db.集合名称.find({ "field" : { $gt: value }}) // 大于: field > value db.集合名称.find({ "field" : { $lt: value }}) // 小于: field < value db.集合名称.find({ "field" : { $gte: value }}) // 大于等于: field >= value db.集合名称.find({ "field" : { $lte: value }}) // 小于等于: field <= value db.集合名称.find({ "field" : { $ne: value }}) // 不等于: field != value -
查询评论点赞数量大于700的记录
db.comment.find({likenum:{$gt:NumberInt(700)}})
3.6.3 包含查询
-
包含使用$in操作符
-
示例：查询评论的集合中userid字段包含1003或1004的文档
db.comment.find({userid:{$in:["1003","1004"]}}) -
不包含使用$nin操作符
-
示例：查询评论集合中userid字段不包含1003和1004的文档
-
db.comment.find({userid:{$nin:["1003","1004"]}})
3.6.4 条件连接查询
- 同时满足 $and
-
我们如果需要查询同时满足两个以上条件，需要使用$and操作符将条件进行关联。（相 当于SQL的and）
-
基本语法
$and:[ { },{ },{ } ] -
示例：查询评论集合中likenum大于等于700 并且小于2000的文档
-
db.comment.find({$and:[{likenum:{$gte:NumberInt(700)}},{likenum:{$lte:NumberInt(2000)}}]}) -
- 或者关系 $or
-
两个以上条件之间是或者的关系，我们使用 $or 操作符进行关联
-
基本语法
$or:[ { },{ },{ } ] -
示例：查询评论集合中userid为1003，或者点赞数小于1000的文档记录
db.comment.find({$or:[{userid:"1003"},{likenum:{$lt:NumberInt(1000)}}]})
3.7 文档间的关系(*)
3.7.1 一对一(one to one)
- 居民身份证（一个居民 对应 一个身份证号）
- 在MongoDB，可以通过内嵌文档的形式体现出一对一的关系
3.7.2 一对多(one to many)
-
用户和订单、文章和评论
-
也可使使用内嵌文档，属性变数组(不推荐)
-
_id 设为属性(*)
-
创建用户、订单集合
//创建users集合 db.users.insert([{username:"xqz"},{username:"zt"}]) //查看用户_id db.users.find() //创建订单集合 db.order.insert({list:["手表","电脑"],user_id:ObjectId("5f4ca33961f254cef4dd0388")}) db.order.insert({list:["西瓜","牛奶"],user_id:ObjectId("5f4ca33961f254cef4dd0388")}) -
查找用户xqz的订单
var user_id=db.users.findOne({username:"xqz"})._id db.order.find({user_id:user_id})
-
3.7.3 多对多(many to many)
-
商品和商品分类、老师和学生
-
类比一对多的_id ,属性变为_ _id 数组
-
创建老师和学生的集合
-
db.teachers.insert([{name:"missLee"},{name:"老师A"},{name:"老师B"}]) //查看老师_id db.teachers.find() //创建学生集合 db.students.insert({stuname:"学生1",tech_ids:[ObjectId("5f4ca7a161f254cef4dd038c"),ObjectId("5f4ca7a161f254cef4dd038d")]}) db.students.insert({stuname:"学生2",tech_ids:[ObjectId("5f4ca7a161f254cef4dd038c"),ObjectId("5f4ca7a161f254cef4dd038e")]}) db.students.insert({stuname:"学生3",tech_ids:[ObjectId("5f4ca7a161f254cef4dd038d"),ObjectId("5f4ca7a161f254cef4dd038e")]}) //查看students db.students.find() -
-
3.8 常用命令小结
-
选择切换数据库：use articledb 插入数据：db.comment.insert({bson数据}) 查询所有数据：db.comment.find() 条件查询数据：db.comment.find({条件}) 查询符合条件的第一条记录：db.comment.findOne({条件}) 查询符合条件的前几条记录：db.comment.find({条件}).limit(条数) 查询符合条件的跳过的记录：db.comment.find({条件}).skip(条数) 修改数据：db.comment.update({条件},{修改后的数据}) 或db.comment.update({条件},{$set:{要修改部分的字段:数据}) 修改数据并自增某字段值：db.comment.update({条件},{$inc:{自增的字段:步进值}}) 删除数据：db.comment.remove({条件}) 统计查询：db.comment.count({条件}) 模糊查询：db.comment.find({字段名:/正则表达式/}) 条件比较运算：db.comment.find({字段名:{$gt:值}}) 包含查询：db.comment.find({字段名:{$in:[值1，值2]}})或db.comment.find({字段名:{$nin:[值1，值2]}}) 条件连接查询：db.comment.find({$and:[{条件1},{条件2}]})或db.comment.find({$or:[{条件1},{条件2}]})
4. 索引-Index
4.1 概述
-
索引支持在MongoDB中高效地执行查询。如果没有索引，MongoDB必须执行全集合扫描，即扫描集合中的每个文档，以选择与查询语句匹配的文档。这种扫描全集合的查询效率是非常低的，特别在处理大量的数据时，查询可以要花费几十秒甚至几分钟，这对网站的性能是非常致命的
-
如果查询存在适当的索引，MongoDB可以使用该索引限制必须检查的文档数。
-
索引是特殊的数据结构，它以易于遍历的形式存储集合数据集的一小部分。索引存储特定字段或一组字段的值，按字段值排序。索引项的排序支持有效的相等匹配和基于范围的查询操作。此外，MongoDB还可以使用索引中的排序返回排序结果。
-
了解：MongoDB索引使用B树数据结构（确切的说是B-Tree，MySQL是B+Tree）
4.2 索引的类型
4.2.1 单字段索引
- MongoDB支持在文档的单个字段上创建用户定义的升序/降序索引，称为单字段索引（Single Field Index）
- 对于单个字段索引和排序操作，索引键的排序顺序（即升序或降序）并不重要，因为MongoDB可以在任何方向上遍历索引
4.2.2 复合索引
- MongoDB还支持多个字段的用户定义索引，即复合索引（Compound Index）
- 复合索引中列出的字段顺序具有重要意义。例如，如果复合索引由 { userid: 1, score: -1 } 组成，则索引首先按userid正序排序，然后在每个userid的值内，再在按score倒序排序
4.2.3 其他索引
- 地理空间索引（Geospatial Index）、文本索引（Text Indexes）、哈希索引（Hashed Indexes）
- 地理空间索引（Geospatial Index）：为了支持对地理空间坐标数据的有效查询，MongoDB提供了两种特殊的索引：返回结果时使用平面几何的二维索引和返回结果时使用球面几何的二维球面索引
- 文本索引（Text Indexes）：MongoDB提供了一种文本索引类型，支持在集合中搜索字符串内容。这些文本索引不存储特定于语言的停止词（例如“the”、“a”、“or”），而将集合中的词作为词干，只存储根词
- 哈希索引（Hashed Indexes）：为了支持基于散列的分片，MongoDB提供了散列索引类型，它对字段值的散列进行索引。这些索引在其范围内的值分布更加随机，但只支持相等匹配，不支持基于范围的查询
4.3 索引的管理操作
4.3.1 索引的查看
-
返回一个集合中的所有索引的数组
-
基本语法
db.collection.getIndexes() -
-
默认_id索引：
MongoDB在创建集合的过程中，在 _id 字段上创建一个唯一的索引，默认名字为 id ，该索引可防止客户端插入两个具有相同值的文档，您不能在_id字段上删除此索引。
注意：该索引是唯一索引，因此值不能重复，即 _id 值不能重复的。在分片集群中，通常使用 _id 作为片键
4.3.2 索引的创建
-
基本语法：
db.collection.createIndex(keys,options) -
参数
Parameter Type Description keys document 包含字段和值对的文档，其中字段是索引键，值描述该字段的索引类型。对于字段上的升序索引，请指定值1；对于降序索引，请指定值-1。比如： {字段:1或-1} ，其中1 为指定按升序创建索引，如果你想按降序来创建索引指定为 -1 即可。另外，MongoDB支持几种不同的索引类型，包括文本、地理空间和哈希索引 options document 可选。包含一组控制索引创建的选项的文档。有关详细信息，请参见选项详情列表 -
options(更多选项)列表
- unique Boolean 建立的索引是否唯一，默认为false
- name String 索引的名称，如果未指定，MongoDB的通过连接索引的字段名和排序顺序生成一个索引名称
-
单字段索引示例：对userid字段建立索引
db.comment.createIndex({userid:1}) -
复合索引示例：对 userid 和 nickname 同时建立复合（Compound）索引
db.comment.createIndex({userid:1,nickname:-1})
4.3.3 索引的移除
-
可以移除指定的索引，或移除所有索引
-
基本语法
db.collection.dropIndex(index)指定要删除的索引，可以通过索引名称或者索引规范文档指定索引，若要删除文本索引，请指定索引名称
-
示例：删除comment集合中userid字段上的升序索引
db.comment.drop({userid:1})删除所有索引
db.collection.dropIndexes() -
提示：_id 的字段的索引是无法删除的，只能删除非 _id 字段的索引。
4.4 索引的使用
4.4.1 执行计划
-
分析查询性能（Analyze Query Performance）通常使用执行计划（解释计划、Explain Plan）来查看查询的情况，如查询耗费的时间、是否基于索引查询等
-
那么通常想知道建立的索引是否有效，效果如何，都需要通过执行计划查看
-
基本语法
db.collection.find(query,options).explain(options)-
stage:"COLLSCAN" 全集合扫描
-
添加索引之后
db.comment.find({userid:"1003"}).explain()stage:"FETCH"
-
4.4.2 涵盖的查询
-
Covered Queries
-
当查询条件和查询的投影仅包含索引字段时，MongoDB直接从索引返回结果，而不扫描任何文档或将文档带入内存。 这些覆盖的查询可以非常有效
-
-
5. 文章评论(练习)
5.1 需求分析
- 基本增删改查API
- 根据文章id查询评论
- 评论点赞
5.2 表结构分析
-
专栏文章评论 comment 字段名称 字段含义 字段类型 备注 _id ID ObjectId或String Mongo的主键字段 articleId 文章id String content 评论内容 String userid 评论人Id String nickname 评论人昵称 String createdatetime 创建日期 Date likenum 点赞数 Int32 replynum 回复数 Int32 state 状态 String 0：不可见;1:可见 parentid 上级id String 如果为0表示文章的顶级评论
5.3 技术选型
5.3.1 mongodb-driver(了解)
- mongodb-driver是mongo官方推出的java连接mongoDB的驱动包，相当于JDBC驱动。我们通过一个入门的案例来了解mongodb-driver的基本使用
- 官方驱动说明和下载
- 官方驱动示例文档
5.3.2 SpringDataMongoDB
- SpringData家族成员之一，用于操作MongoDB的持久层框架，封装了底层的mongodb-driver
- 官网
5.4 文章微服务模块搭建
-
新建mavne工程
-
编写pom.xml
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.3.0.RELEASE</version> <relativePath/> <!-- lookup parent from repository --> </parent> <groupId>org.example</groupId> <artifactId>com.touchair.article</artifactId> <version>1.0-SNAPSHOT</version> <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-test</artifactId> <scope>test</scope> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-mongodb</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <!-- https://mvnrepository.com/artifact/org.springframework.boot/spring-boot-starter-web --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-actuator</artifactId> </dependency> <!-- https://mvnrepository.com/artifact/org.projectlombok/lombok --> <dependency> <groupId>org.projectlombok</groupId> <artifactId>lombok</artifactId> <optional>true</optional> </dependency> </dependencies> </project> -
创建application.yml
server: port: 7777 spring: #数据源配置 data: mongodb: # 主机地址 host: 192.168.83.133 # 默认端口是27017 port: 27017 # 数据库 database: test #也可以使用uri连接 # uri: mongodb://192.168.83.133:27017/test -
创建启动类ArticleMain
@SpringBootApplication public class ArticleMain { public static void main(String[] args) { SpringApplication.run(ArticleMain.class, args); } } -
启动项目，看是否能正常启动
-
创建实体类 包下建包po用于存放实体类 com.touchair.article.po.Comment
//把一个java类声明为mongodb的文档，可以通过collection参数指定这个类对应的文档。 // @Document(collection="mongodb 对应 collection 名") // 若未加 @Document ，该 bean save 到 mongo 的 comment collection // 若添加 @Document ，则 save 到 comment collection //可以省略，如果省略，则默认使用类名小写映射集合 @Document(collection="comment") @Getter @Setter @ToString //复合索引 @CompoundIndex( def = "{'userid': 1, 'nickname': -1}") public class Comment implements Serializable { /** * 主键标识，该属性的值会自动对应mongodb的主键字段"_id"，如果该属性名就叫“id”,则该注解可以省略，否则必须写 */ @Id private String id; /** * 该属性对应mongodb的字段的名字，如果一致，则无需该注解 * 吐槽内容 */ @Field("content") private String content; /** * 发布日期 */ private Date publishtime; /** * 发布人ID */ @Indexed private String userid; /** * 昵称 */ private String nickname; /** * 评论的日期时间 */ private LocalDateTime createdatetime; /** * 点赞数 */ private Integer likenum; /** * 回复数 */ private Integer replynum; /** * 状态 */ private String state; /** * 上级ID */ private String parentid; /** * 文章id */ private String articleid; }说明：索引可以大大提升查询效率，一般在查询字段上添加索引，索引的添加可以通过Mongo的命令来添加，也可以在Java的实体类中通过注解添加；
单字段索引注解@Indexed
复合索引注解@CompoundIndex
-
创建数据访问接口 com.touchair.article.dao.CommentRepository
public interface CommentRepository extends MongoRepository<Comment,String> { /** * 自定义接口 根据父级id 返回分页结果 * @param parentid * @param pageable * @return */ Page<Comment> findByParentid(String parentid, Pageable pageable); } -
创建评论业务层接口以及实现类 com.touchair.article.service.CommentService、com.touchair.article.service.impl.CommentServiceImpl
public interface CommentService { /** * 查询所有评论 * @return */ List<Comment> findCommentList(); /** * 保存评论 *如果需要自定义主键，可以在这里指定主键；如果不指定主键，MongoDB会自动生成主键 * @param comment */ void saveComment(Comment comment); /** * 更新评论 * * @param comment */ void updateComment(Comment comment); /** * 根据id删除评论 * * @param id */ void deleteCommentById(String id); /** * 根据id查询评论 * * @param id * @return */ Comment findCommentById(String id); /** * 根据父级id 获取分页结果 * * @param parentid * @param page * @param size * @return */ Page<Comment> findCommentListByParentid(String parentid, int page, int size); /** * 点赞数增加 * * @param id */ void updateContentLikenum(String id); }@Service public class CommentServiceImpl implements CommentService { @Resource private CommentRepository commentRepository; @Override public List<Comment> findCommentList() { return commentRepository.findAll(); } @Override public void saveComment(Comment comment) { commentRepository.save(comment); } @Override public void updateComment(Comment comment) { commentRepository.save(comment); } @Override public void deleteCommentById(String id) { commentRepository.deleteById(id); } @Override public Comment findCommentById(String id) { return commentRepository.findById(id).get(); } @Override public Page<Comment> findCommentListByParentid(String parentid, int page, int size) { return commentRepository.findByParentid(parentid, PageRequest.of(page-1, size)); } @Override public void updateContentLikenum(String id) { //查询条件 Query query = Query.query(Criteria.where("_id").is(id)); //更新对象 Update update=new Update(); //局部更新，相当于$set // update.set(key,value) // 递增$inc // update.inc("likenum",1) update.inc("likenum"); //参数1：查询对象 // 参数2：更新对象 // 参数3：集合的名字或实体类的类型Comment.class mongoTemplate.updateFirst(query, update, Comment.class); } } -
创建Junit测试类 com.touchair.article.CommentServiceTest
//集成JUnit @RunWith(SpringRunner.class) //测试环境初始化 @SpringBootTest(classes = ArticleMain.class) @Slf4j public class CommentServiceTest { @Resource private CommentService commentService; /** * 测试获取集合所有文档记录 */ @Test public void testFindCommentList(){ log.info(commentService.findCommentList().toString()); } /** * 测试根据id获取文档记录 */ @Test public void testFindCommentById(){ log.info(commentService.findCommentById("1").toString()); } /** * 测试新增一个评论 */ @Test public void testSaveComment(){ Comment comment=new Comment(); comment.setArticleid("100012"); comment.setContent("带父级的测试数据3"); comment.setCreatedatetime(LocalDateTime.now()); comment.setUserid("10012"); comment.setNickname("mongodb parentid test"); comment.setState("1"); comment.setLikenum(0); comment.setReplynum(0); comment.setParentid("3"); commentService.saveComment(comment); } /** * 测试根据父级id返回分页结果 */ @Test public void testFindCommentListByParentid(){ Page<Comment> commentListByParentid = commentService.findCommentListByParentid("3", 1, 2); log.info(commentListByParentid.getContent().toString()); log.info(commentListByParentid.getTotalElements()+""); log.info(commentListByParentid.getTotalPages()+""); } /** * 测试点赞数＋1 */ @Test public void testUpdateContentLikenum(){ commentService.updateContentLikenum("1"); } }
5.5 根据上级id查询文章评论的分页列表
- findCommentListByParentid
5.6 MongoTemplate实现评论点赞
-
CommentService 新增updateCommentThumbupToIncrementingOld方法
/*** 点赞-效率低 * @param id */ public void updateCommentThumbupToIncrementingOld(String id) { Comment comment = CommentRepository.findById(id).get(); comment.setLikenum(comment.getLikenum()+1); CommentRepository.save(comment); }以上方法虽然实现起来比较简单，但是执行效率并不高，因为我只需要将点赞数加1就可以了，没必要查询出所有字段修改后再更新所有字段(蝴蝶效应)
-
可以使用MongoTemplate类来实现对某列的操作
-
public void updateContentLikenum(String id) { //查询条件 Query query = Query.query(Criteria.where("_id").is(id)); //更新对象 Update update=new Update(); //局部更新，相当于$set // update.set(key,value) // 递增$inc // update.inc("likenum",1) update.inc("likenum"); //参数1：查询对象 // 参数2：更新对象 // 参数3：集合的名字或实体类的类型Comment.class mongoTemplate.updateFirst(query, update, Comment.class); } -
测试结果
-
