Docker部署容器

4 阅读37分钟

Docker部署容器

Docker 常用命令
Docker 安装

配置文件必须在运行容器前完成创建和配置,否则无法使其生效

1.1.1部署 nginx

1.简易安装

docker run -d \
  --restart=always \
  --name nginx \
  -p 80:80 \
  nginx:1.24
  1. docker run: 基于指定的镜像创建一个新的容器并运行它。
  2. d: 这是“detached mode”的缩写,意味着容器将在后台运行,并返回容器的ID。你不会直接看到容器的输出,除非使用docker logs命令查看日志或者使用docker attach命令连接到容器。
  3. -restart=always: 这是一个重启策略,表示无论容器的退出状态如何,Docker都应该始终尝试重启这个容器。这特别有用在生产环境中,以确保即使服务遇到临时问题也能自动恢复。
  4. -name nginx: 为新创建的容器指定一个名称,这里是nginx。通过给容器命名,你可以更容易地通过名称来引用和管理它,而不是使用容器的ID。
  5. p 80:80: 端口映射。这表示将宿主机的80端口映射到容器的80端口。这样,当你访问宿主机的80端口时,请求实际上会被转发到容器的80端口。
  6. nginx:1.24: 这是你想要基于的Docker镜像的名称和标签。在这里,你选择了nginx镜像的1.24版本。Docker会从它的镜像仓库(通常是Docker Hub)中拉取这个版本的镜像,并基于这个镜像创建和运行容器。

2.挂载数据卷安装(html:文件夹,nginx.conf:文件)

提前创建对应文件夹

mkdir -p /usr/local/docker_data/nginx/html
mkdir -p /usr/local/docker_data/nginx/conf
mkdir -p /usr/local/docker_data/nginx/logs

在 nginx 里创建 nginx.conf 文件(必须在创建运行nginx容器前完成)

vim /usr/local/docker_data/nginx/conf/nginx.conf

在nginx.conf文件中加入以下内容

#user  nobody;#运行nginx的默认账号
#nginx进程数,建议设置为等于CPU总核心数。
worker_processes  1;
 
#事件区块开始
events {
    #单个进程最大链接数(最大连接数=连接数*进程数)
    #根据硬件调整,与前面工作进程配合起来用,尽量大,但别把CPU跑到100%就行,每个进程允许的最多连接数,理论上为每台nginx服务器的最大连接数
    worker_connections  1024;
}
 
#设定http服务器,利用它的反向代理功能提供负载均衡支持
http {
    #include:导入外部文件mime.types,将所有types提取为文件,然后导入到nginx配置文件中。
    include       mime.types;
    #默认文件类型
    default_type  application/octet-stream;
    
    #开启高效文件传输模式,sendfile指令指定nginx是否调用sendfile函数来输出文件,对于普通应用设置为on,如果用来进行下载等应用磁盘IO重负载应用,可设置为off,以平衡磁盘与网络I/O处理速度,降低系统的负载,注意:如果图片显示不正常把这个改成off
    #sendfile指令指定,nginx是否调用sendfile函数(zero copy方式)来输出文件,对于普通应用,必须设为on,如果用来进行下载等应用磁盘IO重负载应用,可设置为off,以平衡磁盘与网络IO处理速度,降低系统uptime
    sendfile        on;
    #长连接超时事件,单位是秒
    keepalive_timeout  65;
 
  
    #第一个server区块开始,表示一个独立的虚拟主机站点
    server {
        #提供服务的端口,默认80
        listen       80;
        #提供服务的域名主机名
        server_name  localhost;
 
        
        #对 “/” 启动反向代理,第一个location区块开始
        location / {
            root   html;    #服务默认启动目录,可以改成指定的目录位置
            index  index.html index.htm; #默认的首页文件,多个用空格分开
        }
 
        #错误页面路由
        error_page   500 502 503 504  /50x.html; # 出现对应的http状态码是,使用50x.html回应客户
        location = /50x.html { # location区块开始,访问50x.html
            root   html; # 指定对应的站点目录为html
        }
 
    }
 
 
}

创建并运行新nginx容器,挂载本地目录

docker run -d \
  --restart=always \
  --name nginx \
  -p 80:80 \
  -v /usr/local/docker_data/nginx/html:/usr/share/nginx/html \
  -v /usr/local/docker_data/nginx/conf/nginx.conf:/etc/nginx/nginx.conf \
  -v /usr/local/docker_data/nginx/logs:/var/log/nginx \
  nginx:1.24
	

3.设置Nginx开机启动(略)

vim /etc/rc.local

文本底部追加(如果有则不用修改)

/usr/local/nginx/sbin/nginx

4.查看Nginx进程是否启动

ps -ef|grep nginx

1.1.2部署 redis

1.简易安装

docker run -d \
	--restart=always \
	--name redis \
	--requirepass pwd123456\
	-p 6379:6379 \
	redis:7.0.12  

2.挂载数据卷安装

提前创建对应文件夹

mkdir -p /usr/local/docker_data/redis/conf
mkdir -p /usr/local/docker_data/redis/data

在 /usr/local/docker_data/redis/conf 文件夹内创建一个redis.conf文件

vim /usr/local/docker_data/redis/conf/redis.conf

写入自定义配置

Redis的其它常见配置

# 监听的地址,默认是127.0.0.1,会导致只能在本地访问。修改为0.0.0.0则可以在任意IP访问,生产环境不要设置为0.0.0.0
bind 0.0.0.0
# 守护进程,修改为yes后即可后台运行
daemonize yes
# 密码,设置后访问Redis必须输入密码
requirepass pwd123456
# 监听的端口
port 6379
#工作目录,默认是当前目录,也就是运行redis-server时的命令,日志、持久化等文件会保存在这个目录
dir .
# 数据库数量,设置为16,代表使用16个库,默认有16个库,编号0~15
databases 16
# 设置redis能够使用的最大内存
maxmemory 512mb
# 日志文件,默认为空,不记录日志,可以指定日志文件名
logfile "redis.log"

创建并运行新redis容器,挂载本地目录

docker run -d \
	--restart=always \
	--name redis \
	-p 6379:6379 \
	-v /usr/local/docker_data/redis/conf:/etc/redis/redis.conf \
	-v /usr/local/docker_data/redis/data:/data \
	redis:7.0.12 redis-server /etc/redis/redis.conf
	

1.1.3部署 MySQL

1.简易安装

而使用 Docker 安装,仅仅需要一步即可,在命令行输入下面的命令(建议采用 CV 大法):

docker run -d \
  --name mysql \
  --restart=always \
  -p 3306:3306 \
  -e TZ=Asia/Shanghai \
  -e MYSQL_ROOT_PASSWORD=123456 \
  mysql:5.7

2.挂载数据卷安装

提前创建对应文件夹

##一次性创建
mkdir -p /usr/local/docker_data/mysql/data && mkdir -p /usr/local/docker_data/mysql/conf     && mkdir -p /usr/local/docker_data/mysql/logs


##分步创建
# 宿主机创建数据存放目录映射到容器
mkdir -p /usr/local/docker_data/mysql/data

# 宿主机创建配置文件目录映射到容器 
mkdir -p /usr/local/docker_data/mysql/conf #(需要在此目录下创建"conf.d"、"mysql.conf.d"两个目录)
### mkdir -p /usr/local/docker_data/mysql/conf/conf.d # (建议在此目录创建my.cnf文件并进行相关MySQL配置)
### mkdir -p /usr/local/docker_data/mysql/conf/mysql.conf.d

# 宿主机创建日志目录映射到容器
mkdir -p /usr/local/docker_data/mysql/logs

在 /usr/local/docker_data/mysql/conf 文件夹内建一个my.cnf文件

vim /usr/local/docker_data/mysql/conf/my.cnf
[mysqld]
user=mysql
character-set-server=utf8
default_authentication_plugin=mysql_native_password
secure_file_priv=/var/lib/mysql
expire_logs_days=7
sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION
max_connections=1000
[client]
default-character-set=utf8
[mysql]
default-character-set=utf8

创建并运行新mysql容器,挂载本地目录

docker run -d \
  --restart=always \
  --name mysql \
  -p 3306:3306 \
  -e TZ=Asia/Shanghai \
  -e MYSQL_ROOT_PASSWORD=123456 \
  -v /usr/local/docker_data/mysql/data:/var/lib/mysql \
  -v /usr/local/docker_data/mysql/conf:/etc/mysql \
  -v /usr/local/docker_data/mysql/conf/my.cnf:/etc/mysql/my.cnf \
  -v /usr/local/docker_data/mysql/logs:/var/log/mysql\
  mysql:5.7

进入mysql容器

docker exec -it mysql bash

登录mysql

mysql -u root -p

登录成功后,输入修改密码指令

alter user 'root'@'localhost' identified by '123456';

使其他电脑可以远程访问mysql数据库

GRANT ALL ON *.* TO 'root'@'%' IDENTIFIED BY '123456';

使设置生效

flush privileges;

进入mysql查看 my.cnf配置是否生效 字符集是否设置成功。

show variables like 'char%';
mysql> show variables like 'char%';
+--------------------------+----------------------------+
| Variable_name            | Value                      |
+--------------------------+----------------------------+
| character_set_client     | utf8                       |
| character_set_connection | utf8                       |
| character_set_database   | utf8                       |
| character_set_filesystem | binary                     |
| character_set_results    | utf8                       |
| character_set_server     | utf8                       |
| character_set_system     | utf8                       |
| character_sets_dir       | /usr/share/mysql/charsets/ |
+--------------------------+----------------------------+
8 rows in set (0.01 sec)

show variables like 'coll%';
mysql> show variables like 'coll%';
+----------------------+-----------------+
| Variable_name        | Value           |
+----------------------+-----------------+
| collation_connection | utf8_general_ci |
| collation_database   | utf8_general_ci |
| collation_server     | utf8_general_ci |
+----------------------+-----------------+
3 rows in set (0.01 sec)

退出mysql指令模式

exit


MySQL配置文件my.cnf各参数详解


# +--------------+
# | 客户端基本设置 |
# +--------------+
[client]

# 默认连接端口
port = 3306

# 用于本地连接的socket套接字
socket = /usr/local/mysql/data/mysql.sock

# 编码
default-character-set = utf8mb4

# +--------------+
# | 服务端基本设置 |
# +--------------+
[mysqld] 

# MySQL监听端口
port = 3306

# 为MySQL客户端程序和服务器之间的本地通讯指定一个套接字文件
socket = /usr/local/mysql/data/mysql.sock

# pid文件所在目录
pid-file = /usr/local/mysql/data/mysql.pid

# 使用该目录作为根目录(安装目录)
basedir = /usr/local/mysql

# 数据文件存放的目录
datadir = /usr/local/mysql/database

# MySQL存放临时文件的目录
tmpdir = /usr/local/mysql/data/tmp

# 服务端默认编码(数据库级别)
character_set_server = utf8mb4

# 服务端默认的比对规则,排序规则
collation_server = utf8mb4_bin

# MySQL启动用户。如果是root用户就配置root,mysql用户就配置mysql
user = root

# 错误日志配置文件(configure file)
log-error=/usr/local/mysql/data/error.log

# 设置允许 load data导入、导出的位置
secure-file-priv = ''

# 开启了binlog后,必须设置这个值为1.主要是考虑binlog安全
# 此变量适用于启用二进制日志记录的情况。它控制是否可以信任存储函数创建者,
# 而不是创建将导致要写入二进制日志的不安全事件。如果设置为0(默认值),
# 则不允许用户创建或更改存储函数,除非用户具有
# 除创建例程或更改例程特权之外的特权 
log_bin_trust_function_creators = 1

# 性能优化的引擎,默认关闭
performance_schema = 0

# 开启全文索引
ft_min_word_len = 1

# 自动修复MySQL的myisam表
myisam_recover

# 明确时间戳默认null方式
explicit_defaults_for_timestamp

# 计划任务(事件调度器)
event_scheduler

# 跳过外部锁定;External-locking用于多进程条件下为MyISAM数据表进行锁定
skip-external-locking

# 跳过客户端域名解析;当新的客户连接mysqld时,
# mysqld创建一个新的线程来处理请求。
# 该线程先检查是否主机名在主机名缓存中。如果不在,线程试图解析主机名。
# 
# 使用这一选项以消除MySQL进行DNS解析的时间。但需要注意,如果开启该选项,
# 则所有远程主机连接授权都要使用IP地址方式,否则MySQL将无法正常处理连接请求!
skip-name-resolve

# MySQL绑定IP
# 1.这个bind-address强烈推荐不配置 
# 
# 2.如果要配置bind-address的话,这个localhost不能修改,
#  否则在初始化数据库(执行/opt/cloudera/cm/schema/scm_prepare_database.sh 
#  mysql cm cm password)时便会报错
#  如果配置了localhost的话,那么在CDH的安装页面中,配置连接数据库的主机名称必须为localhost  
# 
# 3.强烈不推荐写bind-address=xxx,
#  那么后面的CDH安装对应的组件时要填写的“数据库主机名称”默认使用主机名。
# 
# 4.如果/etc/my.cnf中配置了bind-address=localhost 的话,
#  那么在CDH的安装页面中,配置连接数据库的主机名称必须为localhost。
#  缺点:但是在安装hue时,“数据库主机名称”并无法使用localhost或任何主机名,所以造成无法安装hue
# 
# 5.不配置 bind-address=localhost 的话,则使用主机名(NDOE1)作为此处的数据库主机名称
bind-address=localhost  

# 为了安全起见,复制环境的数据库还是设置--skip-slave-start参数,防止复制随着mysql启动而自动启动
skip-slave-start

# 在中止读取之前等待来自主/从连接的更多数据的秒数。 MySQL主从复制的时候,
# 当Master和Slave之间的网络中断,但是Master和Slave无法察觉的情况下(比如防火墙或者路由问题)。
# Slave会等待slave_net_timeout设置的秒数后,
# 才能认为网络出现故障,然后才会重连并且追赶这段时间主库的数据。
# 
# 1.用这三个参数来判断主从是否延迟是不准确的Slave_IO_Running,Slave_SQL_Running,
#  Seconds_Behind_Master.还是用pt-heartbeat吧。
# 2.slave_net_timeout不要用默认值,设置一个你能接受的延时时间。
slave_net_timeout = 30

# 设定是否支持命令load data local infile。如果指定local关键词,则表明支持从客户主机读文件
local-infile = 0

# 指定MySQL可能的连接数量。
# 当MySQL主线程在很短的时间内得到非常多的连接请求,该参数就起作用,
# 之后主线程花些时间(尽管很短)检查连接并且启动一个新线程。
# 
# back_log参数的值指出在MySQL暂时停止响应新请求之前的短时间内多少个请求可以被存在堆栈中。
back_log = 1024

# sql_mode是一组语法校验规则
# 常用的参数有:
# 	ONLY_FULL_GROUP_BY
# 	(对于GROUP BY聚合操作,如果在SELECT中的列,没有在GROUP BY中出现,
# 	那么这# 个SQL是不合法的,因为列不在GROUP BY从句中)
# 
# 	NO_AUTO_VALUE_ON_ZERO
# 	(该值影响自增长列的插入。默认设置下,插入0或NULL代表生成下一个自增长值。
# 	如果用户希望插入的值为0,而该列又是自增长的,那么这个选项就有用了。)
# 
# 	STRICT_TRANS_TABLES  
# 	(如果一个值不能插入到一个事务中,则中断当前的操作,对非事务表不做限制)
# 
# 	NO_ZERO_IN_DATE  (不允许日期和月份为零)
# 
# 	NO_ZERO_DATE 
# 	(mysql数据库不允许插入零日期,插入零日期会抛出错误而不是警告)
# 
# 	ERROR_FOR_DIVISION_BY_ZERO 
# 	(在insert或update过程中,如果数据被零除,则产生错误而非警告。
# 	如果未给出该模式,那么数据被零除时Mysql返回NULL)
# 
# 	NO_AUTO_CREATE_USER	
# 	(禁止GRANT创建密码为空的用户 MySQL8.0已取消配置将无法启动)
# 
# 	NO_ENGINE_SUBSTITUTION 
# 	(如果需要的存储引擎被禁用或未编译,那么抛出错误。
# 	不设置此值时,用默认的存储引擎替代,并抛出一个异常)
# 
# 	PIPES_AS_CONCAT 
# 	(将"||"视为字符串的连接操作符而非或运算符,
# 	这和Oracle数据库是一样是,也和字符串的拼接函数Concat想类似)
# 
# 	ANSI_QUOTES  (不能用双引号来引用字符串,因为它被解释为识别符)
sql_mode = PIPES_AS_CONCAT,ANSI_QUOTES,IGNORE_SPACE,NO_KEY_OPTIONS,NO_TABLE_OPTIONS,NO_FIELD_OPTIONS,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION

# 索引块的缓冲区大小,对MyISAM表性能影响最大的一个参数.决定索引处理的速度,
# 尤其是索引读的速度。默认值是16M,通过检查状态值Key_read_requests
# 
# 和Key_reads,可以知道key_buffer_size设置是否合理
key_buffer_size = 32M

# 一个查询语句包的最大尺寸。消息缓冲区被初始化为net_buffer_length字节,
# 但是可在需要时增加到max_allowed_packet个字节。
# 
# 该值太小则会在处理大包时产生错误。如果使用大的BLOB列,必须增加该值。
# 
# 这个值来限制server接受的数据包大小。
# 有时候大的插入和更新会受max_allowed_packet 参数限制,导致写入或者更新失败。
max_allowed_packet = 512M

# 线程缓存;主要用来存放每一个线程自身的标识信息,
# 如线程id,线程运行时基本信息等等,
# 我们可以通过 thread_stack 参数来设置为每一个线程栈分配多大的内存。
thread_stack = 256K

# 是MySQL执行排序使用的缓冲大小。
# 如果想要增加ORDER BY的速度,首先看是否可以让MySQL使用索引而不是额外的排序阶段。
# 如果不能,可以尝试增加sort_buffer_size变量的大小。
sort_buffer_size = 16M

# 是MySQL读入缓冲区大小。对表进行顺序扫描的请求将分配一个读入缓冲区,
# MySQL会为它分配一段内存缓冲区。read_buffer_size变量控制这一缓冲区的大小。
# 
# 如果对表的顺序扫描请求非常频繁,并且你认为频繁扫描进行得太慢,
# 可以通过增加该变量值以及内存缓冲区大小提高其性能。
read_buffer_size = 16M

# 应用程序经常会出现一些两表(或多表)Join的操作需求,
# MySQL在完成某些 Join 需求的时候(all/index join),为了减少参与Join的“被驱动表”
# 的读取次数以提高性能,需要使用到 Join Buffer 来协助完成 Join操作。
# 当 Join Buffer 太小,MySQL 不会将该 Buffer 存入磁盘文件,
# 而是先将Join Buffer中的结果集与需要 Join 的表进行 Join 操作,
# 然后清空 Join Buffer 中的数据,继续将剩余的结果集写入此 Buffer 中,
# 如此往复。这势必会造成被驱动表需要被多次读取,成倍增加 IO 访问,降低效率。
join_buffer_size = 16M

# 是MySQL的随机读缓冲区大小。当按任意顺序读取行时(例如,按照排序顺序),
# 将分配一个随机读缓存区。进行排序查询时,MySQL会首先扫描一遍该缓冲,以避免磁盘搜索,
# 提高查询速度,如果需要排序大量数据,可适当调高该值。
# 但MySQL会为每个客户连接发放该缓冲空间,所以应尽量适当设置该值,以避免内存开销过大。
read_rnd_buffer_size = 32M

# 通信缓冲区在查询期间被重置到该大小。通常不要改变该参数值,
# 但是如果内存不足,可以将它设置为查询期望的大小。
# (即,客户发出的SQL语句期望的长度。如果语句超过这个长度,
# 缓冲区自动地被扩大,直到max_allowed_packet个字节。)
net_buffer_length = 16K

# 当对MyISAM表执行repair table或创建索引时,用以缓存排序索,
# 设置太小时可能会遇到” myisam_sort_buffer_size is too small”
myisam_sort_buffer_size = 128M

# 默认8M,当对MyISAM非空表执行insert … select/ insert … values(…),(…)或者load data infile时,
# 使用树状cache缓存数据,每个thread分配一个;
# 注:当对MyISAM表load 大文件时,
# 调大bulk_insert_buffer_size/myisam_sort_buffer_size/key_buffer_size会极大提升速度
bulk_insert_buffer_size = 32M

# thread_cahe_size线程池,线程缓存。用来缓存空闲的线程,
# 以至于不被销毁,如果线程缓存在的空闲线程,需要重新建立新连接,
# 则会优先调用线程池中的缓存,
# 很快就能响应连接请求。每建立一个连接,都需要一个线程与之匹配。
thread_cache_size = 384

# 工作原理: 一个SELECT查询在DB中工作后,DB会把该语句缓存下来,
# 当同样的一个SQL再次来到DB里调用时,
# DB在该表没发生变化的情况下把结果从缓存中返回给Client。
# 在数据库写入量或是更新量也比较大的系统,该参数不适合分配过大。
# 而且在高并发,写入量大的系统,建系把该功能禁掉。
query_cache_size = 0

# 决定是否缓存查询结果。这个变量有三个取值:0,1,2,分别代表了off、on、demand。
query_cache_type = 0

# 它规定了内部内存临时表的最大值,每个线程都要分配。
# (实际起限制作用的是tmp_table_size和max_heap_table_size的最小值。)
# 如果内存临时表超出了限制,MySQL就会自动地把它转化为基于磁盘的MyISAM表,存储在指定的tmpdir目录下
tmp_table_size = 1024M

# 独立的内存表所允许的最大容量.
# 此选项为了防止意外创建一个超大的内存表导致永尽所有的内存资源.
max_heap_table_size = 512M

# mysql打开最大文件数
open_files_limit = 10240

# MySQL无论如何都会保留一个用于管理员(SUPER)登陆的连接,
# 用于管理员连接数据库进行维护操作,即使当前连接数已经达到了max_connections。
# 
# 因此MySQL的实际最大可连接数为max_connections+1;
# 这个参数实际起作用的最大值(实际最大可连接数)为16384,
# 即该参数最大值不能超过16384,即使超过也以16384为准;
# 
# 增加max_connections参数的值,不会占用太多系统资源。
# 系统资源(CPU、内存)的占用主要取决于查询的密度、效率等;
# 
# 该参数设置过小的最明显特征是出现”Too many connections”错误;
max_connections = 2000

# 用来限制用户资源的,0不限制;对整个服务器的用户限制
max-user-connections = 0

# max_connect_errors是一个MySQL中与安全有关的计数器值,
# 它负责阻止过多尝试失败的客户端以防止暴力破解密码的情况。
# max_connect_errors的值与性能并无太大关系。
# 当此值设置为10时,意味着如果某一客户端尝试连接此MySQL服务器,
# 但是失败(如密码错误等等)10次,则MySQL会无条件强制阻止此客户端连接。
max_connect_errors = 100000

# 表描述符缓存大小,可减少文件打开/关闭次数;
table_open_cache = 5120

# 指的是mysql在关闭一个交互的连接之前所要等待的秒数
# (交互连接如mysql gui tool中的连接超时时间)
# (通过mysql客户端连接数据库是交互式连接,通过jdbc连接数据库是非交互式连接)
interactive_timeout = 86400

# 指的是MySQL在关闭一个非交互的连接超时要等待的秒数
# (通过mysql客户端连接数据库是交互式连接,通过jdbc连接数据库是非交互式连接)
wait_timeout = 86400

# 二进制日志缓冲大小
# 我们知道InnoDB存储引擎是支持事务的,实现事务需要依赖于日志技术,为了性能,
# 日志编码采用二进制格式。那么,我们如何记日志呢?有日志的时候,就直接写磁盘?
# 可是磁盘的效率是很低的,如果你用过Nginx,,一般Nginx输出access log都是要缓冲输出的。
# 因此,记录二进制日志的时候,我们是否也需要考虑Cache呢?
# 答案是肯定的,但是Cache不是直接持久化,于是面临安全性的问题——因为系统宕机时,
# Cache中可能有残余的数据没来得及写入磁盘。因此,Cache要权衡,要恰到好处:
# 既减少磁盘I/O,满足性能要求;又保证Cache无残留,及时持久化,满足安全要求。
binlog_cache_size = 16M

# 开启慢查询
slow_query_log = true

# 慢查询地址
slow_query_log_file = /usr/local/mysql/data/slow_query_log.log

# 超过的时间为1s;MySQL能够记录执行时间超过参数 long_query_time 设置值的SQL语句,默认是不记录的。
long_query_time = 1

# 开启记录管理型慢SQL
log-slow-admin-statements

# 记录管理语句和没有使用index的查询记录
log-queries-not-using-indexes

# +--------------+
# |  主从复制配置  |
# +--------------+ start.

# 在复制方面的改进就是引进了新的复制技术:基于行的复制。
# 简言之,这种新技术就是关注表中发生变化的记录,而非以前的照抄 binlog 模式。
#
# 从 MySQL 5.1.12 开始,可以用以下三种模式来实现:
#	-基于SQL语句的复制(statement-based replication, SBR),
# 	-基于行的复制(row-based replication, RBR),
#	-混合模式复制(mixed-based replication, MBR)。
#
# 相应地,binlog的格式也有三种:STATEMENT,ROW,MIXED。
# MBR 模式中,SBR 模式是默认的。
binlog_format = ROW

# 为每个session 最大可分配的内存,在事务过程中用来存储二进制日志的缓存。
# max_binlog_cache_size = 102400

# 开启二进制日志功能,binlog数据位置
log-bin = /usr/local/mysql/data/binlog/mysql-bin

# binlog文件的索引文件,这个文件管理了所有的binlog文件的目录
log-bin-index = /usr/local/mysql/data/binlog/mysql-bin.index

# relay-log日志记录的是从服务器I/O线程将主服务器的二进制日志读取过来记录到从服务器本地文件,
# 然后SQL线程会读取relay-log日志的内容并应用到从服务器
relay-log = /usr/local/mysql/data/relay/mysql-relay-bin

# binlog传到备机被写道relaylog里,备机的slave sql线程从relaylog里读取然后应用到本地。
relay-log-index = /usr/local/mysql/data/relay/mysql-relay-bin.index
# ==================================================================

#**************
# 主服务器配置
#**************

# 服务端ID,用来高可用时做区分
server-id = 1

# 指定 database 不被记录binlog
# 不同步哪些数据库,除此之外,其他不同步
# ("binlog-ignore-db"和"binlog-do-db"为互斥关系,一般只选择其一设置)
binlog-ignore-db = mysql
binlog-ignore-db = sys
binlog-ignore-db = binlog
binlog-ignore-db = relay
binlog-ignore-db = tmp
binlog-ignore-db = test
binlog-ignore-db = information_schema
binlog-ignore-db = performance_schema

# 指定 database 记录binlog
# 同步哪些数据库
# ("binlog-ignore-db"和"binlog-do-db"为互斥关系,一般只选择其一设置)
binlog-do-db = db_1
binlog-do-db = db_2

#**************
# 从服务器配置
#**************

# 服务端ID,用来高可用时做区分
server-id = 2

# 不要需要同步的database
replicate-ignore-db = mysql
replicate-ignore-db = sys
replicate-ignore-db = relay
replicate-ignore-db = tmp
replicate-ignore-db = test
replicate-ignore-db = information_schema
replicate-ignore-db = performance_schema

# 需要同步的database
# 只同步哪些数据库,除此之外,其他不同步
replicate-do-db = db_1
replicate-do-db = db_2

# ==================================================================

# 将从服务器从主服务器收到的更新记入到从服务器自己的二进制日志文件中。
log_slave_updates = 1

# 二进制日志自动删除的天数。默认值为0,表示“没有自动删除”。启动时和二进制日志循环时可能删除。
expire-logs-days = 15

# 如果二进制日志写入的内容超出给定值,日志就会发生滚动。
# 你不能将该变量设置为大于1GB或小于4096字节。 默认值是1GB。
max_binlog_size = 128M

# 同步所有跨数据库的更新,比如replicate-do-db或者replicate-ignore-db不会同步类似
# replicate-wild-ignore-table = mysql.%

# 设定需要同步的Table
replicate-wild-do-table = db_name.%

# 复制时跳过一些错误;不要胡乱使用这些跳过错误的参数,
# 除非你非常确定你在做什么。当你使用这些参数时候,MYSQL会忽略那些错误,
# 这样会导致你的主从服务器数据不一致。
slave-skip-errors = 1062,1053,1146

# 表示id的起始值从1开始增长(但不表示第一个id就是1)
auto_increment_offset = 1

# 表示id的增长偏移量为2,就是下一个id比上一个id大2
auto_increment_increment = 2

# 将中继日志的信息写入表:mysql.slave_realy_log_info
relay_log_info_repository = TABLE

# 将master的连接信息写入表:mysql.salve_master_info
master_info_repository = TABLE

# 中继日志自我修复;当slave从库宕机后,假如relay-log损坏了,
# 导致一部分中继日志没有处理,则自动放弃所有未执行的relay-log,
# 并且重新从master上获取日志,这样就保证了relay-log的完整性
relay_log_recovery = on

# +--------------+
# |  主从复制配置  |
# +--------------+ end.

# +--------------+
# |  innodb设置   |
# +--------------+ 

# InnoDB 用来高速缓冲数据和索引内存缓冲大小。 更大的设置可以使访问数据时减少磁盘 I/O。
innodb_buffer_pool_size = 128M

# 单独指定数据文件的路径与大小
innodb_data_file_path = ibdata1:10M:autoextend

# 每次commit 日志缓存中的数据刷到磁盘中。通常设置为 1,
# 意味着在事务提交前日志已被写入磁盘,事务可以运行更长以及服务崩溃后的修复能力。
# 如果你愿意减弱这个安全,或你运行的是比较小的事务处理,
# 可以将它设置为 0 ,以减少写日志文件的磁盘 I/O。这个选项默认设置为 0。
innodb_flush_log_at_trx_commit = 2

# sync_binlog:这个参数是对于MySQL系统来说是至关重要的,
# 他不仅影响到Binlog对MySQL所带来的性能损耗,而且还影响到MySQL中数据的完整性。
#	sync_binlog=0
#	(当事务提交之后,MySQL不做fsync之类的磁盘同步指令刷新binlog_cache中的信息到磁盘,
#	而让Filesystem自行决定什么时候来做同步,或者cache满了之后才同步到磁盘)
#
#	sync_binlog=n
#	(当每进行n次事务提交之后,MySQL将进行一次fsync之类的磁盘同步指令来将binlog_cache中的数据强制写入磁盘。)
sync_binlog=0

# 读线程个数,默认是4个(可根据CPU核心数配置)
innodb_read_io_threads = 8

# 写线程个数,默认是4个(可根据CPU核心数配置)
innodb_write_io_threads = 8

# 限制Innodb能打开的表的数量
innodb_open_files = 1000

# 开始碎片回收线程。这个应该能让碎片回收得更及时而且不影响其他线程的操作
innodb_purge_threads = 1

# InnoDB 将日志写入日志磁盘文件前的缓冲大小。理想值为 1M 至 8M。
# 大的日志缓冲允许事务运行时不需要将日志保存入磁盘而只到事务被提交(commit)。
# 因此,如果有大的事务处理,设置大的日志缓冲可以减少磁盘I/O。
innodb_log_buffer_size = 8M

# 日志组中的每个日志文件的大小(单位 MB)。如果 n 是日志组中日志文件的数目,
# 那么理想的数值为 1M 至下面设置的缓冲池(buffer pool)大小的 1/n。较大的值,
# 可以减少刷新缓冲池的次数,从而减少磁盘 I/O。
# 但是大的日志文件意味着在崩溃时需要更长的时间来恢复数据。
innodb_log_file_size = 128M

# 指定有三个日志组
innodb_log_files_in_group = 3

# 在回滚(rooled back)之前,InnoDB 事务将等待超时的时间(单位 秒)
innodb_lock_wait_timeout = 120

# innodb_max_dirty_pages_pct作用:控制Innodb的脏页在缓冲中在那个百分比之下,
# 值在范围1-100,默认为90.这个参数的另一个用处:
# 当Innodb的内存分配过大,致使swap占用严重时,可以适当的减小调整这个值,
# 使达到swap空间释放出来。建义:这个值最大在90%,最小在15%。
# 太大,缓存中每次更新需要致换数据页太多,太小,放的数据页太小,更新操作太慢。
innodb_max_dirty_pages_pct = 75

# innodb_buffer_pool_size 一致 可以开启多个内存缓冲池,
# 把需要缓冲的数据hash到不同的缓冲池中,这样可以并行的内存读写。
innodb_buffer_pool_instances = 4

# innodb刷新脏页的能力
# 这个参数据控制Innodb checkpoint时的IO能力
innodb_io_capacity = 500

# 作用:使每个Innodb的表,有自已独立的表空间。如删除文件后可以回收那部分空间。
# 分配原则:只有使用不使用。但DB还需要有一个公共的表空间。
innodb_file_per_table = 1

# 当更新/插入的非聚集索引的数据所对应的页不在内存中时(对非聚集索引的更新操作通常会带来随机IO),
# 会将其放到一个insert buffer中,当随后页面被读到内存中时,会将这些变化的记录merge到页中。
# 当服务器比较空闲时,后台线程也会做merge操作
innodb_change_buffering = inserts

# 该值影响每秒刷新脏页的操作,开启此配置后,
# 刷新脏页会通过判断产生重做日志的速度来判断最合适的刷新脏页的数量;
innodb_adaptive_flushing = 1

# 数据库事务隔离级别 ,读取提交内容
transaction-isolation = READ-COMMITTED

# 控制着innodb数据文件及redo log的打开、刷写模式
# InnoDB使用O_DIRECT模式打开数据文件,用fsync()函数去更新日志和数据文件。
innodb_flush_method = fsync

# 默认设置值为1.设置为0:表示Innodb使用自带的内存分配程序;
# 设置为1:表示InnoDB使用操作系统的内存分配程序。
innodb_use_sys_malloc = 1

# +--------------+
# |  逻辑备份设置  |
# +--------------+ 
[mysqldump]

# 它强制 mysqldump 从服务器查询取得记录直接输出而不是取得所有记录后将它们缓存到内存中
quick

# 限制server接受的数据包大小;指代mysql服务器端和客户端在一次传送数据包的过程当中数据包的大小
max_allowed_packet = 512M

# TCP/IP和套接字通信缓冲区大小,创建长度达net_buffer_length的行
net_buffer_length = 16384

[mysql]
# auto-rehash是自动补全的意思
auto-rehash

# isamchk数据检测恢复工具
[isamchk]

key_buffer = 256M

sort_buffer_size = 256M

read_buffer = 2M

write_buffer = 2M

# 使用myisamchk实用程序来获得有关你的数据库桌表的信息、检查和修复他们或优化他们
# myisamchk默认只用3M的内存来修复,如果要修复大表的话,
# 显然速度会巨慢,我们可以通过为myisamchk设置更多的内存,来使其运行的更快,
[myisamchk]

key_buffer = 256M
sort_buffer_size = 256M
read_buffer = 2M
write_buffer = 2M

[mysqlhotcopy]

# mysqlhotcopy使用lock tables、flush tables和cp或scp来快速备份数据库.
# 它是备份数据库或单个表最快的途径,完全属于物理备份,
# 但只能用于备份MyISAM存储引擎和运行在数据库目录所在的机器上.
# 与mysqldump备份不同,mysqldump属于逻辑备份,备份时是执行的sql语句.
# 使用mysqlhotcopy命令前需要要安装相应的软件依赖包
interactive-timeout

1.1.4 部署 Seata(分布式事务)

1. 简易安装

docker run -d \
--name seata \
--restart=always \
-p 8099:8099 \
-p 7099:7099 \
seataio/seata-server:1.5.2

2. 挂载数据卷安装

提前创建对应文件夹

mkdir -p /usr/local/docker_data/seata

创建并运行新nginx容器,挂载本地目录

docker run -d \
--name seata \
--restart=always \
-p 8099:8099 \
-p 7099:7099 \
-e SEATA_IP=192.168.119.244 \
-v /usr/local/docker_data/seata:/seata-server/resources \
--privileged=true \
--network my-net \
seataio/seata-server:1.5.2
  • d: 使容器在后台以守护进程模式运行。
  • -name seata: 为新创建的容器指定一个名称,这里是seata。
  • p 8099:8099: 将宿主机的8099端口映射到容器的8099端口。
  • p 7099:7099: 将宿主机的7099端口映射到容器的7099端口。
  • e SEATA_IP=192.168.119.244: 设置环境变量SEATA_IP,用于指定 Seata 服务器的 IP 地址。这通常用于告诉Seata服务器它的IP地址是什么,以便其他服务或客户端可以正确地连接到它。
  • v /usr/local/docker_data/seata:/seata-server/resources:将宿主机的/usr/local/docker_data/seata目录挂载到容器内的/seata-server/resources目录。这样,你可以在宿主机上修改Seata的配置文件或其他资源,并立即在容器中看到这些更改。
  • -privileged=true: 给予容器额外的权限。通常,这个选项应该谨慎使用,因为它允许容器几乎可以执行宿主机上的任何操作。但在某些情况下,例如需要访问宿主机硬件或执行某些需要特权才能进行的操作时,这可能是必要的。
  • -network my-net: 将容器连接到名为my-net的自定义Docker网络。这允许你控制容器之间的网络连接和隔离。
  • seataio/seata-server:1.5.2: 这是你想要基于的Docker镜像的名称和标签。Docker会从它的镜像仓库(如Docker Hub)中拉取这个版本的Seata服务器镜像,并基于这个镜像创建和运行容器。

3. 数据库文件

CREATE DATABASE IF NOT EXISTS `seata`;
USE `seata`;

CREATE TABLE IF NOT EXISTS `global_table`
(
    `xid`                       VARCHAR(128) NOT NULL,
    `transaction_id`            BIGINT,
    `status`                    TINYINT      NOT NULL,
    `application_id`            VARCHAR(32),
    `transaction_service_group` VARCHAR(32),
    `transaction_name`          VARCHAR(128),
    `timeout`                   INT,
    `begin_time`                BIGINT,
    `application_data`          VARCHAR(2000),
    `gmt_create`                DATETIME,
    `gmt_modified`              DATETIME,
    PRIMARY KEY (`xid`),
    KEY `idx_status_gmt_modified` (`status` , `gmt_modified`),
    KEY `idx_transaction_id` (`transaction_id`)
) ENGINE = InnoDB
  DEFAULT CHARSET = utf8mb4;

CREATE TABLE IF NOT EXISTS `branch_table`
(
    `branch_id`         BIGINT       NOT NULL,
    `xid`               VARCHAR(128) NOT NULL,
    `transaction_id`    BIGINT,
    `resource_group_id` VARCHAR(32),
    `resource_id`       VARCHAR(256),
    `branch_type`       VARCHAR(8),
    `status`            TINYINT,
    `client_id`         VARCHAR(64),
    `application_data`  VARCHAR(2000),
    `gmt_create`        DATETIME(6),
    `gmt_modified`      DATETIME(6),
    PRIMARY KEY (`branch_id`),
    KEY `idx_xid` (`xid`)
) ENGINE = InnoDB
  DEFAULT CHARSET = utf8mb4;

CREATE TABLE IF NOT EXISTS `lock_table`
(
    `row_key`        VARCHAR(128) NOT NULL,
    `xid`            VARCHAR(128),
    `transaction_id` BIGINT,
    `branch_id`      BIGINT       NOT NULL,
    `resource_id`    VARCHAR(256),
    `table_name`     VARCHAR(32),
    `pk`             VARCHAR(36),
    `status`         TINYINT      NOT NULL DEFAULT '0' COMMENT '0:locked ,1:rollbacking',
    `gmt_create`     DATETIME,
    `gmt_modified`   DATETIME,
    PRIMARY KEY (`row_key`),
    KEY `idx_status` (`status`),
    KEY `idx_branch_id` (`branch_id`),
    KEY `idx_xid_and_branch_id` (`xid` , `branch_id`)
) ENGINE = InnoDB
  DEFAULT CHARSET = utf8mb4;

CREATE TABLE IF NOT EXISTS `distributed_lock`
(
    `lock_key`       CHAR(20) NOT NULL,
    `lock_value`     VARCHAR(20) NOT NULL,
    `expire`         BIGINT,
    primary key (`lock_key`)
) ENGINE = InnoDB
  DEFAULT CHARSET = utf8mb4;

INSERT INTO `distributed_lock` (lock_key, lock_value, expire) VALUES ('AsyncCommitting', ' ', 0);
INSERT INTO `distributed_lock` (lock_key, lock_value, expire) VALUES ('RetryCommitting', ' ', 0);
INSERT INTO `distributed_lock` (lock_key, lock_value, expire) VALUES ('RetryRollbacking', ' ', 0);
INSERT INTO `distributed_lock` (lock_key, lock_value, expire) VALUES ('TxTimeoutCheck', ' ', 0);
-- for AT mode you must to init this sql for you business database. the seata server not need it.
-- 对于AT模式,您必须为您的业务数据库初始化此SQL。SEATA服务不需要它。
CREATE TABLE IF NOT EXISTS `undo_log`
(
    `branch_id`     BIGINT       NOT NULL COMMENT 'branch transaction id',
    `xid`           VARCHAR(128) NOT NULL COMMENT 'global transaction id',
    `context`       VARCHAR(128) NOT NULL COMMENT 'undo_log context,such as serialization',
    `rollback_info` LONGBLOB     NOT NULL COMMENT 'rollback info',
    `log_status`    INT(11)      NOT NULL COMMENT '0:normal status,1:defense status',
    `log_created`   DATETIME(6)  NOT NULL COMMENT 'create datetime',
    `log_modified`  DATETIME(6)  NOT NULL COMMENT 'modify datetime',
    UNIQUE KEY `ux_undo_log` (`xid`, `branch_id`)
) ENGINE = InnoDB
  AUTO_INCREMENT = 1
  DEFAULT CHARSET = utf8mb4 COMMENT ='AT transaction mode undo table';

1.1.5 部署 RabbitMQ(消息队列)

1. 简易安装

docker run -d \
 --name mq \
 --restart=always \
 -e RABBITMQ_DEFAULT_USER=root \
 -e RABBITMQ_DEFAULT_PASS=123321 \
 -p 15672:15672 \
 -p 5672:5672 \
 rabbitmq:3.8-management

2. 自定义安装

docker run -d \
 --name mq \
 --restart=always \
 -e RABBITMQ_DEFAULT_USER=root \
 -e RABBITMQ_DEFAULT_PASS=123321 \
 -v mq-plugins:/plugins \
 --hostname mq \
 -p 15672:15672 \
 -p 5672:5672 \
 --network my-net\
 rabbitmq:3.8-management

  1. docker run: 基于指定的镜像创建一个新的容器并运行它。
  2. -d: 在后台运行容器,并返回容器ID。
  3. -e: 设置环境变量。这里设置了RabbitMQ的默认用户名和密码。
  4. -v mq-plugins:/plugins: 将主机上的 mq-plugins 卷(如果它存在)挂载到容器内的 /plugins 目录。如果不存在,Docker会自动创建它。这通常用于添加或覆盖RabbitMQ的插件。
  5. --name mq: 为容器指定一个名称,这里是 mq。
  6. --hostname mq: 设置容器的主机名为 mq(可选)。
  7. -p 15672:15672: 将容器的15672端口映射到主机的15672端口。这是RabbitMQ的管理界面端口。
  8. -p 5672:5672: 将容器的5672端口映射到主机的5672端口。这是RabbitMQ的AMQP协议端口。
  9. --network my-net: 将容器连接到名为 my-net 的Docker网络(可选)。
  10. rabbitmq:3.8-management: 指定要运行的Docker镜像,这里是RabbitMQ 3.8版本的管理镜像。

1.1.6 部署 Elasticsearch

1. 简易安装

docker run -d \
  --name es \
  --restart=always \
  -e "discovery.type=single-node" \
  -p 9200:9200 \
  -p 9300:9300 \
  elasticsearch:7.12.1

2. 自定义安装

docker run -d \
  --name es \
  --restart=always \
  -e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \
  -e "discovery.type=single-node" \
  -v es-data:/usr/share/elasticsearch/data \
  -v es-plugins:/usr/share/elasticsearch/plugins \
  --privileged \
  --network my-net \
  -p 9200:9200 \
  -p 9300:9300 \
  elasticsearch:7.12.1
  • d: 在后台运行容器(即“分离”模式)。
  • -name es: 为容器指定一个名称,这里是 es。
  • e "ES_JAVA_OPTS=-Xms512m -Xmx512m": 设置环境变量来指定 Elasticsearch 的 Java 虚拟机堆大小初始值(Xms)和最大值(Xmx),都设置为 512MB。
  • e "discovery.type=single-node": 在单节点模式下运行 Elasticsearch。如果打算运行 Elasticsearch 集群,这个参数就不是必要的。但在单节点设置下,它是必要的**。**
  • v es-data:/usr/share/elasticsearch/data: 创建一个名为 es-data 的 Docker 卷(如果它还不存在),并将其挂载到容器内的 /usr/share/elasticsearch/data 目录。这是 Elasticsearch 存储其索引数据的地方。
  • v es-plugins:/usr/share/elasticsearch/plugins: 创建一个名为 es-plugins 的 Docker 卷(如果它还不存在),并将其挂载到容器内的 /usr/share/elasticsearch/plugins 目录。这是 Elasticsearch 插件的安装位置。
  • -privileged: 以特权模式运行容器。这通常不推荐,因为它会赋予容器更多的权限,可能带来安全风险。但在某些情况下,特别是当需要访问宿主机上的设备或执行某些需要更高权限的操作时,可能需要这样做。
  • -network my-net: 将容器连接到名为 my-net 的 Docker 网络。
  • p 9200:9200: 将容器的 9200 端口映射到宿主机的 9200 端口。这是 Elasticsearch 的 HTTP API 端口。
  • p 9300:9300: 将容器的 9300 端口映射到宿主机的 9300 端口。这是 Elasticsearch 的传输层端口,用于节点之间的通信。
  • elasticsearch:7.12.1: 指定要运行的 Docker 镜像,这里是 Elasticsearch 7.12.1 版本。

1.1.7 部署 Kibana(分析与可视化平台)

Kibana是一个开源的分析与可视化平台,设计出来用于和Elasticsearch一起使用的。

1. 简易安装

docker run -d \
--name kibana \
-e ELASTICSEARCH_HOSTS=http://es:9200 \
-p 5601:5601  \
kibana:7.12.1

2. 自定义安装

docker run -d \
--name kibana \
--restart=always \
-e ELASTICSEARCH_HOSTS=http://es:9200 \
-p 5601:5601  \
--network my-net \
kibana:7.12.1
  1. d: 使容器在后台运行(detached mode)。这是必要的,除非你希望在前台手动管理容器。
  2. -name kibana: 为容器指定一个名称。虽然这不是严格必要的(Docker 会自动生成一个名称),但为容器指定一个有意义且易于记忆的名称通常是很好的做法。
  3. -restart=always: 设置容器的重启策略为始终重启。这取决于你的需求。如果你希望容器在退出时始终自动重启,那么这个参数是必要的。但如果你在某些情况下不希望容器重启,那么这个参数就不是必要的。
  4. e ELASTICSEARCH_HOSTS=http://es:9200: 设置 Kibana 的环境变量,告诉它 Elasticsearch 的地址。这是必要的,因为 Kibana 需要知道如何连接到 Elasticsearch 实例。注意这里假设你有一个名为 es 的容器或服务在 hm-net 网络中运行,并且监听 9200 端口。
  5. -network=hm-net: 将容器连接到名为 hm-net 的自定义网络。这取决于你的网络配置和需求。如果你希望容器使用默认的 bridge 网络或 host 网络,或者你已经确保了 Kibana 容器可以通过其他方式访问 Elasticsearch(例如,通过 Docker Compose 的服务发现),那么这个参数就不是必要的。
  6. p 5601:5601: 映射容器的 5601 端口到宿主机的 5601 端口。这是必要的,除非你有特定的路由设置,或者打算使用其他方式访问 Kibana。
💡 配置文件必须在运行容器前完成创建和配置,否则无法使其生效