Docker网络
Docker网络实现原理
docker 使用linux 桥接,在宿主机虚拟一个docker 容器网桥(docker0) ,docker 启动一个容器时会根据docker 网桥的网段分配给容器一个IP地址,称为Container-IP,同时Docker 网桥是每个容器的默认网关。因为在同一宿主机内的容器都接入同一个网桥,这样容器之间就能够通过容器的 Container-IP 直接通信。
docker 网桥是宿主机虚拟出来的,并不是真实存在的网络设备,外部网络是无法寻址到的,这也意味着外部网络无法直接通过Container-IP 访问到容器。如果容器希望外部访问能够访问到,可以通过映射容器端口到宿主机(端口映射),即 docker run 创建容器时候,通过 -p 或者 -P 参数来启用。访问容器的时候,就通过 [宿主机IP]:[映射端口] 访问容器。
为容器创建端口映射
端口映射,底层原理实际是做了一个DNAT转换。
方法一:随机映射端口(从32768开始)
docker run -itd --name=为容器指定名称 -P 镜像名称
方法二:指定映射端口
docker run -itd --name=为容器指定名称 -p 宿主机端口:容器端口 镜像名称
示例1:
#随机映射端口
docker run -itd --name web1 -P nginx
#查看映射端口号
docker ps -a
#使用宿主机IP:映射端口访问测试
curl http://192.168.20.60:49154
[root@localhost ~]# docker run -itd --name web1 -P nginx
WARNING: IPv4 forwarding is disabled. Networking will not work.
938120a6edbac07a68014b2710640bfd06a1848af4295e210adfc6c78a6c1dd7
[root@localhost ~]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS NAMES
938120a6edba nginx "/docker-entrypoint.…" 8 seconds ago Up 7 sec web1
[root@localhost ~]# curl http://192.168.20.10:49153
示例2:
#指定映射端口,将容器的80端口映射到宿主机的48888端口
docker run -itd --name web2 -p 48888:80 nginx
#使用宿主机IP:映射端口访问测试
curl http://192.168.20.10:48888
#指定映射端口,将容器的80端口映射到宿主机的48888端口
[root@localhost ~]# docker run -itd --name web2 -p 48888:80 nginx
WARNING: IPv4 forwarding is disabled. Networking will not work.
a41230016740dfb1c85f0eb7cf3a8617e06dcf5438b9f35aa5a9dca43a0dff61
[root@localhost ~]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
a41230016740 nginx "/docker-entrypoint.…" 15 seconds ago Up 14 seconds 0.0.0.0:48888->80/tcp, :::48888->80/tcp web2
#使用宿主机IP:映射端口访问测试
[root@localhost ~]# curl http://192.168.20.10:48888
#查看宿主机监听的端口号
[root@localhost ~]# netstat -natp|grep docker
tcp 0 0 0.0.0.0:48888 0.0.0.0:* LISTEN 12771/docker-proxy
tcp 0 0 0.0.0.0:49153 0.0.0.0:* LISTEN 12920/docker-proxy
tcp6 0 0 :::48888 :::* LISTEN 12779/docker-proxy
tcp6 0 0 :::49153 :::* LISTEN 12928/docker-proxy
#查看iptables规则,端口映射实际是做了一个DNAT转换,通过nat表进行转发的
[root@localhost ~]# iptables -nL -t nat
......
Chain DOCKER (2 references)
target prot opt source destination
RETURN all -- 0.0.0.0/0 0.0.0.0/0
DNAT tcp -- 0.0.0.0/0 0.0.0.0/0 tcp dpt:48888 to:172.17.0.2:80
DNAT tcp -- 0.0.0.0/0 0.0.0.0/0 tcp dpt:49153 to:172.17.0.3:80
端口映射,底层原理实际是做了一个DNAT转换。
192.168.20.10:49154 映射到 172.17.0.2:80,192.168.41.46:48888 映射到 172.17.0.3:80。
Docker的网络模式
Docker的网络模式(4+1)
- Host: 容器不会虚拟出自己的网卡,配置主机的IP等,而是使用宿主机的IP和端口
- Container: 创建的容器不会创建自己的网卡,配置自己的IP,而是和一个指定的容器共享IP,端口范围
- None: 该模式关闭了容器的网络功能。
- Bridge: 默认为该模式,此模式会为每一个容器分配,设置IP等,并将容器连接到一个docker0 的虚拟网桥,通过docker 0 网桥以及iptables nat 表配置与宿主机通信。
- 自定义网络
在安装Docker 时,它会自动创建三个网络:bridge(创建容器默认连接到此网络),none,host。
查看docker 的网络列表
在安装Docker 时,它会自动创建三个网络:bridge(创建容器默认连接到此网络),none,host。
#查看docker的网络列表
docker network ls
或者
docker network list
指定容器网络模式
#使用docker' run 创建Docker容器时,可以用--net 或--network 选项指定容器的网络模式
●host模式:使用 --net=host 指定。
●none模式:使用 --net=none 指定。
●container模式:使用--net=container:NAME/ID指定。
●bridge模式:使用 --net=bridge 指定,默认设置,可省略。
Docker网络模式详解
host模式
- 相当于Vmware中的桥接模式,与宿主机在同一个网络中,但没有独立IP地址。
- Docker使用了Linux的Namespaces技术来进行资源隔离,如PID Namespace隔离进程,Mount Namespace隔离文件系统,Network Namespace隔离网络等。
- 一个Network Namespace提供了一 份独立的网络环境,包括网卡、路由、iptable规则等都与其他的Network Namespace隔离。
- 一个Docker容器一般会分配一个独立的NetworkNamespace。但如果启动容器的时候使用host模式,那么这个容器将不会获得一个独立的NetworkNamespace,而是和宿主机共用一个NetworkNamespace。容器将不会虚拟出自己的网卡、配置自己的IP等,而是使用宿主机的IP和端口。
容器和宿主机共享网络命名空间,但没有独立IP地址,使用宿主机的IP地址,和宿主机共享端口范围,例如宿主机使用了80端口,那么容器不能使用80端口。这种模式比较方便,但不安全。 示例:
#创建容器tt1,指定网络模式为 host
#容器和宿主机共享网络命名空间,但没有独立IP地址。使用宿主机的IP,和宿主机共享端口范围。
docker run -d --name test1 --net=host nginx
#访问宿主机的ip和80端口,则可以访问到tt1的nginx服务
curl http://192.168.20.10:80
container模式
- container模式: 使用
–net=contatiner:NAME/ID指定。 - 这个模式指定新创建的容器和已经存在的一个容器共享一个Network Namespace,而不是和宿主机共享。新创建的容器不会创建自己的网卡、配置自己的IP,而是和一个指定的容器共享IP,端口范围等。 可以在一定程度上节省网络资源,容器内部依然不会拥有所有端口。
- 同样,两个容器除了网络方面,其他的如文件系统,进程列表等还是隔离的。
- 两个容器的进程可以通过lo网卡设备通信。
新创建的B容器和A容器共享命名空间。假如A容器使用了80端口,B容器就不能使用80端口。
示例:
#基于镜像centos:7 创建一个名为test2的容器
[root@localhost ~]# docker run -itd --name test2 centos:7 /bin/bash
WARNING: IPv4 forwarding is disabled. Networking will not work.
2577f16c5561885ebf887bc61379c92c2fefe4c095faf8e8aa86618f909b3f3b
#查看容器test1的pid号
[root@localhost ~]# docker inspect -f '{{.State.Pid}}' test2
16452
#查看test2的网络命名空间编号,net:[4026532844]
[root@localhost ~]# ls -l /proc/16452/ns/
总用量 0
lrwxrwxrwx. 1 root root 0 11月 30 18:54 ipc -> ipc:[4026532841]
lrwxrwxrwx. 1 root root 0 11月 30 18:54 mnt -> mnt:[4026532839]
lrwxrwxrwx. 1 root root 0 11月 30 18:53 net -> net:[4026532844]
lrwxrwxrwx. 1 root root 0 11月 30 18:54 pid -> pid:[4026532842]
lrwxrwxrwx. 1 root root 0 11月 30 18:54 user -> user:[4026531837]
lrwxrwxrwx. 1 root root 0 11月 30 18:54 uts -> uts:[4026532840]
#创建test3容器,使用container网络模式,和test2共享网络命名空间
[root@localhost ~]# docker run -itd --name test3 --net=container:test2 centos:7 bash
WARNING: IPv4 forwarding is disabled. Networking will not work.
67b5269b812032a7ca0b4a91dcf0fdaeef27b64c369754c0722db35c7c16b8e3
#查看test3容器的pid
[root@localhost ~]# docker inspect -f '{{.State.Pid}}' test3
18951
#查看test3容器的网络命名空间编号,net:[4026532844],和test2相同。
[root@localhost ~]# ls -l /proc/18951/ns
总用量 0
lrwxrwxrwx. 1 root root 0 12月 1 13:55 ipc -> ipc:[4026532934]
lrwxrwxrwx. 1 root root 0 12月 1 13:55 mnt -> mnt:[4026532932]
lrwxrwxrwx. 1 root root 0 12月 1 13:55 net -> net:[4026532844]
lrwxrwxrwx. 1 root root 0 12月 1 13:55 pid -> pid:[4026532935]
lrwxrwxrwx. 1 root root 0 12月 1 13:55 user -> user:[4026531837]
lrwxrwxrwx. 1 root root 0 12月 1 13:55 uts -> uts:[4026532933]
#可以看到test2和test1共享同一个网络命名空间
none 模式
- none模式:使用 --net=none 指定
- 使用none 模式,docker 容器有自己的network Namespace ,但是并不为Docker 容器进行任何网络配置。也就是说,这个Docker 容器没有网卡,ip, 路由等信息。
- 这种网络模式下,容器只有lo 回环网络,没有其他网卡。
- 这种类型没有办法联网,但是封闭的网络能很好的保证容器的安全性。
- 该容器将完全独立于网络,用户可以根据需要为容器添加网卡。此模式拥有所有端口。(none网络模式配置网络
- 特殊情况下才会用到,一般不用。
bridge 模式
bridge模式是docker的默认网络模式,不用--net参数, 就是bridge模式。
相当于Vmware中的nat模式,容器使用独立network Namespace, 并连接到docker0虚拟网卡I通过docker0网桥以及iptables nat表配置与宿主机通信,此模式会为每. 个容器分配Network Namespace、 设置IP等,并将一一个 主机上的Docker 容器连接到一个虚拟网桥上。
(1)当Docker进程启动时,会在主机上创建一个名为docker0的虛拟网桥,此主机上启动的Docker容器会连接到这个虚拟网桥上。虚拟网桥的工作方式和物理交换机类似,这样主机上的所有容器就通过交换机连在了一“个二层网络中。
(2)从docker0子网中分配一个IP给容器使用(分配一个和网桥相同网段内的IP,网桥作为网关),并设置docker0的IP地址为容器的默认网关。在主机上创建一对虛拟网卡veth pair设备。veth设备总是成对出现的,它们组成了一个数据的通道,数据从一个设备进入,就会从另一个设备出来。因此,veth设备常用来连接两个网络设备。
(3)Docker将 veth pair设备的一端放在新创建的容器中,并命名为eth0 (容器的网卡),另一端放在主机中,以veth*这样类似的名字命名,并将这个网络设备加入到docker0 网桥中。可以通过brctl show命令查看。
(4)使用docker run -P 时,docker实际 是在iptables做了DNAT规则,实现端口转发功能。可以使用iptables -t nat -vnL查看。
每个容器有自己独立的命名空间。容器之间通过网桥转发进行通信,成对的网络设备veth pair。
示例:
#bridge模式是docker的默认网络模式,不用--net参数,就是bridge模式。
[root@localhost ~]# docker run -itd --name can centos:7 /bin/bash
WARNING: IPv4 forwarding is disabled. Networking will not work.
f25a56a555471aa1999d193319d856b900f4f8602ca3ccd402cab73b1497f85e
#查看容器tt2的网络模式,为默认网络模式。
[root@localhost ~]# docker inspect can |grep -i 'networkmode'
"NetworkMode": "default",
自定义网络模式
直接使用bridge 模式,是无法指定IP运行docker 的,例如执行以下命令就会报错:
[root@localhost ~]# docker run -itd --name can2 --network bridge --ip 172.12.0.20 centos:7 bash
WARNING: IPv4 forwarding is disabled. Networking will not work.
c8c4de7c587ae3b2b387d2fac086671b162fb2a3e4753d91b56adf7218a9145d
docker: Error response from daemon: user specified IP address is supported on user defined networks only.
创建自定义网络:
需要先自定义网络,再指定IP运行docker。
#(1)先自定义网络,设置网卡地址池,网卡名,网络模式名称
[root@localhost ~]# docker network create --subnet=172.12.0.0/16 --opt "com.docker.network.bridge.name"="docker1" mynetwork
1fd9f276478f59e59a6a2a5c2bbd951c8eb8f5ba2386cd328e82c98abe86c4ac
-------------注释--------------------------------------------------------------------- ●docker1 :为执行ifconfig -a 命令时显示的网卡名,如果不使用 --opt 参数指定此名称,使用 ifconfig -a 查看网卡的网络信息时,看到的将会是类似 br-110eb56a0b22这样的名字,这显然不好记。 ●mynetwork:为执行"docker network list" 命令时,显示的 bridge 网络模式名称。 ------------------------------------------------------------------------------------- #查看docker的网络列表
[root@localhost ~]# docker network ls
NETWORK ID NAME DRIVER SCOPE
f22991d1752c bridge bridge local
438892589b8c host host local
1fd9f276478f mynetwork bridge local #已生成自定义网络
7f86b2c2b8ba none null local
#(2)再使用该网段内的地址,创建自定义网络的容器test6
[root@localhost ~]# docker run -itd --name test6 --net mynetwork --ip 172.12.0.10 centos:7 /bin/bash
WARNING: IPv4 forwarding is disabled. Networking will not work.
cf65460d37cd13f018453e7324dd9c862af2443f0f7019d878a6ce96fbb4cc82
[root@localhost ~]# docker inspect test6 | grep -i "IPv4Address"
"IPv4Address": "172.12.0.10"
#也可以docker exec进入容器后下载net-tools工具,之后使用ifconfig命令查看容器IP地址。
删除自定义网络:
如果想要删除自定义的网络,可以使用 docker network rm 网络模式名称 进行删除,例如docker network rm mynetwork。
删除网络模式前,需要先确保使用该网络模式创建的容器已退出(即已停止)。如果容器仍在运行,则该网络无法删除。
#当使用自定义网络创建的容器处于运行状态时,无法删除自定义网络。
[root@localhost ~]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
cf65460d37cd centos:7 "/bin/bash" 3 minutes ago Up 3 minutes test6
[root@localhost ~]# docker network rm mynetwork
Error response from daemon: error while removing network: network mynetwork id 1fd9f276478f59e59a6a2a5c2bbd951c8eb8f5ba2386cd328e82c98abe86c4ac has active endpoints
#需要先将容器停止,之后再删除网络
[root@localhost ~]# docker stop cf65460d37cd
cf65460d37cd
[root@localhost ~]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
cf65460d37cd centos:7 "/bin/bash" 4 minutes ago Exited (137) 7 seconds ago test6
[root@localhost ~]# docker network rm mynetwork #删除自定义网络mynetwork
mynetwork
[root@localhost ~]# docker network ls #自定义网络已被删除
NETWORK ID NAME DRIVER SCOPE
f22991d1752c bridge bridge local
438892589b8c host host local
7f86b2c2b8ba none null local
Docker容器网络生产经验
docker的网络建议和宿主机的IP"对照”
比如宿主机地址10.2.5.6,容器的地址就可以修改为172.5.6.x,这样方便在故障发生时,更容易定位故障节点位置。
daemon.json 配置介绍(键值对的格式)
# daemon.json 配置介绍
{
"graph": "/data/docker",
"storage-driver": "overlay2",
"insecure-registries": ["registry.access.redhat.com", "quay.io"],
"registry-mirrors": ["https://3u6mkfxb.mirror.aliyuncs.com"],
"bip": "172.24.38.1/24", #指定网桥的网段,这里不能写0,必须写1
"exec-opts": ["native. cgroupdriver= systemd"],
"live-restore": true
}
#配置项注意点:
● graph:该关键字未来将被弃用,可以采用"data-root" 替代。
● storage-driver:存储驱动,即分层文件系统。
● insecure-registries:不安全的docker registries, 即使用http协议推拉镜象。
● registry-mirrors:加速站点,一般可以使用阿里、网易云、docker中国 (https: //registry.docker-cn.com)的地址。
● bip:指定doccer bridge地址(不能以.0结尾),生产中建议采用172.xx.yy.1/24,其中xx. yy为宿主机ip后四位,方便定位问题。
● 若启动失败,查看/var/log/message 日志排错。
● live-restore:启用实时还原。
默认情况下,当Docker守护程序终止时,它将关闭正在运行的容器。从Docker Engine 1.12开始,您可以配置守护程序,以便在守护程序不可用时容器仍在运行。此功能称为实时还原。实时还原选项有助于减少由于守护程序崩溃,计划内的停机或升级而导致的容器停机时间。
#使用配置文件/etc/docker/daemon.json (没有时新建该文件)
vim /etc/docker/daemon.json
{
" insecure-registries": ["192.168.20.10:666"],
"registry-mirrors": ["https://3u6mkfxb.mirror.aliyuncs.com"],
"live-restore": true
}