Docker的网络模式

509 阅读14分钟

Docker网络

Docker网络实现原理

docker 使用linux 桥接,在宿主机虚拟一个docker 容器网桥(docker0) ,docker 启动一个容器时会根据docker 网桥的网段分配给容器一个IP地址,称为Container-IP,同时Docker 网桥是每个容器的默认网关。因为在同一宿主机内的容器都接入同一个网桥,这样容器之间就能够通过容器的 Container-IP 直接通信。

docker 网桥是宿主机虚拟出来的,并不是真实存在的网络设备,外部网络是无法寻址到的,这也意味着外部网络无法直接通过Container-IP 访问到容器。如果容器希望外部访问能够访问到,可以通过映射容器端口到宿主机(端口映射),即 docker run 创建容器时候,通过 -p 或者 -P 参数来启用。访问容器的时候,就通过 [宿主机IP]:[映射端口] 访问容器。

为容器创建端口映射

端口映射,底层原理实际是做了一个DNAT转换。

方法一:随机映射端口(从32768开始)

 docker run -itd  --name=为容器指定名称 -P 镜像名称

方法二:指定映射端口

 docker run -itd --name=为容器指定名称 -p 宿主机端口:容器端口 镜像名称

示例1:

 #随机映射端口
 docker run -itd --name web1 -P nginx
 #查看映射端口号
 docker ps -a
 #使用宿主机IP:映射端口访问测试
 curl http://192.168.20.60:49154
 
 
 [root@localhost ~]# docker run -itd --name web1 -P nginx
WARNING: IPv4 forwarding is disabled. Networking will not work.
938120a6edbac07a68014b2710640bfd06a1848af4295e210adfc6c78a6c1dd7
[root@localhost ~]# docker ps -a
CONTAINER ID   IMAGE     COMMAND                  CREATED         STATUS    NAMES
938120a6edba   nginx     "/docker-entrypoint.…"   8 seconds ago   Up 7 sec  web1
[root@localhost ~]# curl http://192.168.20.10:49153

image.png 示例2:

 #指定映射端口,将容器的80端口映射到宿主机的48888端口
 docker run -itd --name web2 -p 48888:80 nginx
 #使用宿主机IP:映射端口访问测试
 curl http://192.168.20.10:48888
 
 
 #指定映射端口,将容器的80端口映射到宿主机的48888端口
 [root@localhost ~]# docker run -itd --name web2 -p 48888:80 nginx
WARNING: IPv4 forwarding is disabled. Networking will not work.
a41230016740dfb1c85f0eb7cf3a8617e06dcf5438b9f35aa5a9dca43a0dff61
[root@localhost ~]# docker ps -a
CONTAINER ID   IMAGE     COMMAND                  CREATED          STATUS          PORTS                                     NAMES
a41230016740   nginx     "/docker-entrypoint.…"   15 seconds ago   Up 14 seconds   0.0.0.0:48888->80/tcp, :::48888->80/tcp   web2
#使用宿主机IP:映射端口访问测试
[root@localhost ~]# curl http://192.168.20.10:48888

#查看宿主机监听的端口号
[root@localhost ~]# netstat -natp|grep docker
tcp        0      0 0.0.0.0:48888           0.0.0.0:*               LISTEN      12771/docker-proxy  
tcp        0      0 0.0.0.0:49153           0.0.0.0:*               LISTEN      12920/docker-proxy  
tcp6       0      0 :::48888                :::*                    LISTEN      12779/docker-proxy  
tcp6       0      0 :::49153                :::*                    LISTEN      12928/docker-proxy

#查看iptables规则,端口映射实际是做了一个DNAT转换,通过nat表进行转发的
[root@localhost ~]# iptables -nL -t nat 
......
Chain DOCKER (2 references)
target     prot opt source               destination         
RETURN     all  --  0.0.0.0/0            0.0.0.0/0           
DNAT       tcp  --  0.0.0.0/0            0.0.0.0/0            tcp dpt:48888 to:172.17.0.2:80
DNAT       tcp  --  0.0.0.0/0            0.0.0.0/0            tcp dpt:49153 to:172.17.0.3:80

image.png

image.png

image.png

image.png

端口映射,底层原理实际是做了一个DNAT转换。

192.168.20.10:49154 映射到 172.17.0.2:80,192.168.41.46:48888 映射到 172.17.0.3:80。

Docker的网络模式

Docker的网络模式(4+1)

  • Host: 容器不会虚拟出自己的网卡,配置主机的IP等,而是使用宿主机的IP和端口
  • Container: 创建的容器不会创建自己的网卡,配置自己的IP,而是和一个指定的容器共享IP,端口范围
  • None: 该模式关闭了容器的网络功能。
  • Bridge: 默认为该模式,此模式会为每一个容器分配,设置IP等,并将容器连接到一个docker0 的虚拟网桥,通过docker 0 网桥以及iptables nat 表配置与宿主机通信。
  • 自定义网络

在安装Docker 时,它会自动创建三个网络:bridge(创建容器默认连接到此网络),none,host。

查看docker 的网络列表

在安装Docker 时,它会自动创建三个网络:bridge(创建容器默认连接到此网络),none,host。

 #查看docker的网络列表
 docker network ls
 或者
 docker network list

image.png

指定容器网络模式

 #使用docker' run 创建Docker容器时,可以用--net 或--network 选项指定容器的网络模式
 ●host模式:使用 --net=host 指定。
 ●none模式:使用 --net=none 指定。
 ●container模式:使用--net=container:NAME/ID指定。
 ●bridge模式:使用 --net=bridge 指定,默认设置,可省略。

Docker网络模式详解

host模式

  • 相当于Vmware中的桥接模式,与宿主机在同一个网络中,但没有独立IP地址。
  • Docker使用了Linux的Namespaces技术来进行资源隔离,如PID Namespace隔离进程,Mount Namespace隔离文件系统,Network Namespace隔离网络等。
  • 一个Network Namespace提供了一 份独立的网络环境,包括网卡、路由、iptable规则等都与其他的Network Namespace隔离。
  • 一个Docker容器一般会分配一个独立的NetworkNamespace。但如果启动容器的时候使用host模式,那么这个容器将不会获得一个独立的NetworkNamespace,而是和宿主机共用一个NetworkNamespace。容器将不会虚拟出自己的网卡、配置自己的IP等,而是使用宿主机的IP和端口。

容器和宿主机共享网络命名空间,但没有独立IP地址,使用宿主机的IP地址,和宿主机共享端口范围,例如宿主机使用了80端口,那么容器不能使用80端口。这种模式比较方便,但不安全。 示例:

 #创建容器tt1,指定网络模式为 host
 #容器和宿主机共享网络命名空间,但没有独立IP地址。使用宿主机的IP,和宿主机共享端口范围。
 docker run -d --name test1 --net=host nginx
 ​
 #访问宿主机的ip和80端口,则可以访问到tt1的nginx服务
 curl http://192.168.20.10:80

image.png

container模式

  • container模式: 使用 –net=contatiner:NAME/ID 指定。
  • 这个模式指定新创建的容器和已经存在的一个容器共享一个Network Namespace,而不是和宿主机共享。新创建的容器不会创建自己的网卡、配置自己的IP,而是和一个指定的容器共享IP,端口范围等。 可以在一定程度上节省网络资源,容器内部依然不会拥有所有端口。
  • 同样,两个容器除了网络方面,其他的如文件系统,进程列表等还是隔离的。
  • 两个容器的进程可以通过lo网卡设备通信。

新创建的B容器和A容器共享命名空间。假如A容器使用了80端口,B容器就不能使用80端口。

示例:

 #基于镜像centos:7 创建一个名为test2的容器
 [root@localhost ~]# docker run -itd --name test2 centos:7 /bin/bash
WARNING: IPv4 forwarding is disabled. Networking will not work.
2577f16c5561885ebf887bc61379c92c2fefe4c095faf8e8aa86618f909b3f3b
#查看容器test1的pid号
[root@localhost ~]# docker inspect -f '{{.State.Pid}}' test2
16452
#查看test2的网络命名空间编号,net:[4026532844]
[root@localhost ~]# ls -l /proc/16452/ns/
总用量 0
lrwxrwxrwx. 1 root root 0 11月 30 18:54 ipc -> ipc:[4026532841]
lrwxrwxrwx. 1 root root 0 11月 30 18:54 mnt -> mnt:[4026532839]
lrwxrwxrwx. 1 root root 0 11月 30 18:53 net -> net:[4026532844]
lrwxrwxrwx. 1 root root 0 11月 30 18:54 pid -> pid:[4026532842]
lrwxrwxrwx. 1 root root 0 11月 30 18:54 user -> user:[4026531837]
lrwxrwxrwx. 1 root root 0 11月 30 18:54 uts -> uts:[4026532840]

#创建test3容器,使用container网络模式,和test2共享网络命名空间
[root@localhost ~]# docker run -itd --name test3 --net=container:test2 centos:7 bash
WARNING: IPv4 forwarding is disabled. Networking will not work.
67b5269b812032a7ca0b4a91dcf0fdaeef27b64c369754c0722db35c7c16b8e3
#查看test3容器的pid
[root@localhost ~]# docker inspect -f '{{.State.Pid}}' test3
18951
#查看test3容器的网络命名空间编号,net:[4026532844],和test2相同。 
[root@localhost ~]# ls -l /proc/18951/ns
总用量 0
lrwxrwxrwx. 1 root root 0 12月  1 13:55 ipc -> ipc:[4026532934]
lrwxrwxrwx. 1 root root 0 12月  1 13:55 mnt -> mnt:[4026532932]
lrwxrwxrwx. 1 root root 0 12月  1 13:55 net -> net:[4026532844]
lrwxrwxrwx. 1 root root 0 12月  1 13:55 pid -> pid:[4026532935]
lrwxrwxrwx. 1 root root 0 12月  1 13:55 user -> user:[4026531837]
lrwxrwxrwx. 1 root root 0 12月  1 13:55 uts -> uts:[4026532933]
#可以看到test2和test1共享同一个网络命名空间

image.png image.png

none 模式

  • none模式:使用 --net=none 指定
  • 使用none 模式,docker 容器有自己的network Namespace ,但是并不为Docker 容器进行任何网络配置。也就是说,这个Docker 容器没有网卡,ip, 路由等信息。
  • 这种网络模式下,容器只有lo 回环网络,没有其他网卡。
  • 这种类型没有办法联网,但是封闭的网络能很好的保证容器的安全性。
  • 该容器将完全独立于网络,用户可以根据需要为容器添加网卡。此模式拥有所有端口。(none网络模式配置网络
  • 特殊情况下才会用到,一般不用。

bridge 模式

bridge模式是docker的默认网络模式,不用--net参数, 就是bridge模式。

相当于Vmware中的nat模式,容器使用独立network Namespace, 并连接到docker0虚拟网卡I通过docker0网桥以及iptables nat表配置与宿主机通信,此模式会为每. 个容器分配Network Namespace、 设置IP等,并将一一个 主机上的Docker 容器连接到一个虚拟网桥上。

(1)当Docker进程启动时,会在主机上创建一个名为docker0的虛拟网桥,此主机上启动的Docker容器会连接到这个虚拟网桥上。虚拟网桥的工作方式和物理交换机类似,这样主机上的所有容器就通过交换机连在了一“个二层网络中。

(2)从docker0子网中分配一个IP给容器使用(分配一个和网桥相同网段内的IP,网桥作为网关),并设置docker0的IP地址为容器的默认网关。在主机上创建一对虛拟网卡veth pair设备。veth设备总是成对出现的,它们组成了一个数据的通道,数据从一个设备进入,就会从另一个设备出来。因此,veth设备常用来连接两个网络设备。

(3)Docker将 veth pair设备的一端放在新创建的容器中,并命名为eth0 (容器的网卡),另一端放在主机中,以veth*这样类似的名字命名,并将这个网络设备加入到docker0 网桥中。可以通过brctl show命令查看。

(4)使用docker run -P 时,docker实际 是在iptables做了DNAT规则,实现端口转发功能。可以使用iptables -t nat -vnL查看。

每个容器有自己独立的命名空间。容器之间通过网桥转发进行通信,成对的网络设备veth pair。

示例:

 #bridge模式是docker的默认网络模式,不用--net参数,就是bridge模式。
 [root@localhost ~]# docker run -itd --name can centos:7 /bin/bash
WARNING: IPv4 forwarding is disabled. Networking will not work.
f25a56a555471aa1999d193319d856b900f4f8602ca3ccd402cab73b1497f85e

#查看容器tt2的网络模式,为默认网络模式。
[root@localhost ~]# docker inspect can |grep -i 'networkmode'
            "NetworkMode": "default",

image.png

 自定义网络模式

直接使用bridge 模式,是无法指定IP运行docker 的,例如执行以下命令就会报错:

[root@localhost ~]# docker run -itd --name can2 --network bridge --ip 172.12.0.20 centos:7 bash
WARNING: IPv4 forwarding is disabled. Networking will not work.
c8c4de7c587ae3b2b387d2fac086671b162fb2a3e4753d91b56adf7218a9145d
docker: Error response from daemon: user specified IP address is supported on user defined networks only.

image.png

创建自定义网络:

需要先自定义网络,再指定IP运行docker。

 #(1)先自定义网络,设置网卡地址池,网卡名,网络模式名称
 [root@localhost ~]# docker network create --subnet=172.12.0.0/16 --opt "com.docker.network.bridge.name"="docker1" mynetwork
1fd9f276478f59e59a6a2a5c2bbd951c8eb8f5ba2386cd328e82c98abe86c4ac

-------------注释---------------------------------------------------------------------  ●docker1 :为执行ifconfig -a 命令时显示的网卡名,如果不使用 --opt 参数指定此名称,使用 ifconfig -a 查看网卡的网络信息时,看到的将会是类似 br-110eb56a0b22这样的名字,这显然不好记。  ●mynetwork:为执行"docker network list" 命令时,显示的 bridge 网络模式名称。  -------------------------------------------------------------------------------------  #查看docker的网络列表
 [root@localhost ~]# docker network ls
NETWORK ID     NAME        DRIVER    SCOPE
f22991d1752c   bridge      bridge    local
438892589b8c   host        host      local
1fd9f276478f   mynetwork   bridge    local          #已生成自定义网络
7f86b2c2b8ba   none        null      local

#(2)再使用该网段内的地址,创建自定义网络的容器test6
[root@localhost ~]# docker run -itd --name test6 --net mynetwork --ip 172.12.0.10  centos:7 /bin/bash
WARNING: IPv4 forwarding is disabled. Networking will not work.
cf65460d37cd13f018453e7324dd9c862af2443f0f7019d878a6ce96fbb4cc82
[root@localhost ~]# docker inspect test6 | grep -i "IPv4Address"
                        "IPv4Address": "172.12.0.10"
                        
#也可以docker exec进入容器后下载net-tools工具,之后使用ifconfig命令查看容器IP地址。

image.png

删除自定义网络:

如果想要删除自定义的网络,可以使用 docker network rm 网络模式名称 进行删除,例如docker network rm mynetwork

删除网络模式前,需要先确保使用该网络模式创建的容器已退出(即已停止)。如果容器仍在运行,则该网络无法删除。

 #当使用自定义网络创建的容器处于运行状态时,无法删除自定义网络。
 [root@localhost ~]# docker ps -a
CONTAINER ID   IMAGE      COMMAND                  CREATED             STATUS             PORTS                                     NAMES
cf65460d37cd   centos:7   "/bin/bash"              3 minutes ago       Up 3 minutes                                                 test6
[root@localhost ~]# docker network rm mynetwork
Error response from daemon: error while removing network: network mynetwork id 1fd9f276478f59e59a6a2a5c2bbd951c8eb8f5ba2386cd328e82c98abe86c4ac has active endpoints

#需要先将容器停止,之后再删除网络
[root@localhost ~]# docker stop cf65460d37cd
cf65460d37cd
[root@localhost ~]# docker ps -a
CONTAINER ID   IMAGE      COMMAND                  CREATED             STATUS                       PORTS                                     NAMES
cf65460d37cd   centos:7   "/bin/bash"              4 minutes ago       Exited (137) 7 seconds ago                                             test6
[root@localhost ~]# docker network rm mynetwork           #删除自定义网络mynetwork
mynetwork
[root@localhost ~]# docker network ls           #自定义网络已被删除
NETWORK ID     NAME      DRIVER    SCOPE
f22991d1752c   bridge    bridge    local
438892589b8c   host      host      local
7f86b2c2b8ba   none      null      local

image.png

image.png

Docker容器网络生产经验

docker的网络建议和宿主机的IP"对照”

比如宿主机地址10.2.5.6,容器的地址就可以修改为172.5.6.x,这样方便在故障发生时,更容易定位故障节点位置。

daemon.json 配置介绍(键值对的格式)

 # daemon.json 配置介绍
 {
  "graph": "/data/docker",
  "storage-driver": "overlay2",
  "insecure-registries": ["registry.access.redhat.com", "quay.io"],
  "registry-mirrors": ["https://3u6mkfxb.mirror.aliyuncs.com"],
  "bip": "172.24.38.1/24",       #指定网桥的网段,这里不能写0,必须写1
  "exec-opts": ["native. cgroupdriver= systemd"],
  "live-restore": true
 }
 ​
 #配置项注意点:
 ● graph:该关键字未来将被弃用,可以采用"data-root" 替代。
 ● storage-driver:存储驱动,即分层文件系统。
 ● insecure-registries:不安全的docker registries, 即使用http协议推拉镜象。
 ● registry-mirrors:加速站点,一般可以使用阿里、网易云、docker中国 (https: //registry.docker-cn.com)的地址。
 ● bip:指定doccer bridge地址(不能以.0结尾),生产中建议采用172.xx.yy.1/24,其中xx. yy为宿主机ip后四位,方便定位问题。
 ● 若启动失败,查看/var/log/message 日志排错。
 ● live-restore:启用实时还原。
 默认情况下,当Docker守护程序终止时,它将关闭正在运行的容器。从Docker Engine 1.12开始,您可以配置守护程序,以便在守护程序不可用时容器仍在运行。此功能称为实时还原。实时还原选项有助于减少由于守护程序崩溃,计划内的停机或升级而导致的容器停机时间。
 ​
 ​
 #使用配置文件/etc/docker/daemon.json (没有时新建该文件)
 vim /etc/docker/daemon.json
 {
 " insecure-registries": ["192.168.20.10:666"],
 "registry-mirrors": ["https://3u6mkfxb.mirror.aliyuncs.com"],
 "live-restore": true
 }