网络编程简介

网络编程就是通过网络让不同计算机上运行的程序可以进行通信

一、 软件开发架构

两个程序之间通讯的应用大致可以分为两种：

第一种是应用类程序：qq、微信、网盘、优酷这一类是属于需要安装的桌面应用

第二种是 web 类程序：用户只需要浏览器即可访问程序，常见的 web 类应用程 序比如百度、知乎、CSDN 等使用浏览器访问就可以直接使用，不管是应用类程序还是 web 类程序，这些应用的本质其实都是两个程序之间的通讯，而这两个分类又对应了两个软件开发的架构

客户端服务端概念：

客户端：就是我们常用的程序例如 qq、微信，浏览器等等

服务端：要一直运行着给别人提供服务的机器(电脑、服务器)， 例如现在我使用我的电脑就是服务端(服务器)

C/S 架构：

C/S 即：Client 与 Server ，中文意思：客户端与服务器端架构

这里的客户端一般泛指客户端应用程序 exe，程序需要先安装后，才能运行在用 户的电脑上，对用户的电脑操作系统环境依赖较大

B/S 架构：

B/S 即：Browser 与 Server,中文意思：浏览器端与服务器端架构， 只需在浏览器上通过 HTTP 去请求服务器端相关的资源（网页资源）

二、 计算机网络

首先说明一下每台电脑在网络世界中都有一个全球唯一的标识就是 ip 地址

那 ip 地址是什么呢？我们的电脑上网需要有硬件设施网线和网卡，网卡用来链接网线，网卡上有全球上唯一的物理地址(mac)，长度为 48 位 2 进制，通常由 12 位 16 进制数表示（前六位是厂商编号，后六位是流水线号）

查看ip地址：ipconfig /all

一个 ip 地址通常写成四段十进制数，例：172.16.10.1

通过 ip 地址 就能找到 mac 地址，中间遵循了 ARP(Address Resolution Protocol) 协议, 中文叫：地址解析协议, 是根据 IP 地址获取物理地址的一个 TCP/IP 协议

一个特殊的地址 127.0.0.1 本地回环地址，访问自己电脑上的程序

0.0.0.0表示让所有ip地址都能访问

我们通过了 ip 地址找到了具体的某一台电脑，那我们怎么找到了想访问的应用呢?

例如两台 QQ 进行聊天案例，怎样找到另外一台电脑上的 QQ 程序呢?就需要通过电脑上的端口了

电脑上的每一个应用程序想运行必须占一个端口号，并且端口号同时间只能被一 个应用程序占用

每一台电脑上一共有 65536 个端口，端口的范围是 065535。一般 01023 被一 些其他应用已经占用，因此我们一般从 1024 开始指定端口

1、局域网

局域网(Local Area Network) ，简称 LAN，是指在某一区域内由多台计算机互联 成的计算机组。“某一区域”指的是同一办公室、同一建筑物、同一公司和同一 学校等，一般是方圆几千米以内。局域网可以实现文件管理、应用软件共享、打 印机共享、扫描仪共享、工作组内的日程安排、电子邮件和传真通信服务等功能。 局域网是封闭型的，可以由办公室内的两台计算机组成，也可以由一个公司内的 上千台计算机组成

2、广域网

广域网(Wide Area Network)，简称 WAN，是一种跨越大的、地域性的计算机网 络的集合。通常跨越省、市，甚至一个国家，广域网包括大大小小不同的子网， 子网可以是局域网，也可以是小型的广域网

3、局域网和广域网的区别

局域网是在某一区域内的，而广域网要跨越较大的地域，那么如何来界定这个区 域呢?例如，一家大型公司的总公司位于北京，而分公司遍布全国各地，如果该 公司将所有的分公司都通过网络联接在一起，那么一个分公司就是一个局域网， 而整个总公司网络就是一个广域网

三、网络协议(TCP/IP 协议族)

网络协议就是为了能让计算机网络中进行数据交换而建立的规则、标准

例如下载软件然后如果不同意协议就不能继续下一步,同样的道理在互联网中, 如果不遵循互联网协议就不能访问到资源

互联网上有上百种协议，但是最重要的两个协议是 TCP 协议和 IP 协议，因此我们将上百种协议统称为 TCP/IP 协议族，TCP/IP 协议族，根据协议的功能的不同 抽象成了 4 层

应用层：TFTP，HTTP，SNMP，FTP，SMTP，DNS，Telnet 等等

传输层：TCP，UDP

网络层：IP，ICMP，OSPF，EIGRP，IGMP

数据链路层：SLIP，CSLIP，PPP，MTU

数据传输的时候先将数据从应用层传递到传输层，然后再从传输层传递到网络 层，然后再传递到链路层，最后在通过物理传输介质(网线)传递数据。大家想一 下为什么要一层一层的传递，而不是直接传递数据呢?是为了保证数据能够稳定 的传输到对方电脑上去

我们电脑上的数据想要发生到你的电脑上需要通过一层一层的传 输，在传输过程中为了保证数据不丢失，需要在每一层的时候添加一些额外的内 容。那每一层都添加了哪些内容呢？

例如 应用层指的是 QQ 通信需要有自己的协议，迅雷下载下载东西有自己的协议，浏览器访问互联网使用的是 HTTP协议

例如现在发送一个‘hello’走的过程是:

（1）在应用层加上自己的协议 例如 xx hello

（2）传递到了传输层，添加了源端口和目的端口

（3）走到了网络层，会在前面添加上 源 ip 地址和目的 ip

（4）走到链路层，添加源 mac 地址和目的 mac 地址

然后通过网线传输到对方的电脑上，先判断是不是我的 mac 地址，如果是就减去 mac,在往上到网络层，判断是不是我的 ip 地址，如果是就减去，依次往上走， 直到 qq，中间如果有一层不对就把数据扔掉。对方就不能获取发送过来的信息

四、TCP 协议

TCP（Transmission Control Protocol）可靠的、面向连接的协议 (什么是面向连接呢？就是发送消息之前先建立连接然后再发送消息例如打电话 场景，在网络中具体指的是三次握手)

TCP 协议特点：数据安全，速度略低。分为客户端和服务端

使用 TCP 的应用：Web 浏览器；电子邮件等程序

TCP 的三次握手和 4 次挥手

TCP报文类型：SYN/ACK

SYN（连接请求信号）：同步序列编号（Synchronize Sequence Numbers）是TCP/IP建立连接时使用的握手信号，TCP连接的第一个包，非常小的一种数据包

ACK（应答信号）：确认标识(Acknowledge character）是对所收到的报文进行检查，若未发现错误，便向对方发出确认回答ACK信号，表明信息已被正确接收，并准备好接收下一份报文

**TCP 三次握手: **

TCP 是因特网中的传输层协议，使用三次握手协议建立连接。当主动方发出 SYN 连接请求后等待对方回答 SYN+ACK[1]，并最终对对方的 SYN 执行 ACK 确认。 这种建立连接的方法可以防止产生错误的连接

TCP 三次握手的过程如下：

（1）客户端发送 SYN（SEQ=x）报文给服务器端，进入 SYN_SEND 状态

（2）服务器端收到SYN报文，回应一个SYN（SEQ=y）ACK(ACK=x+1）报文，进入SYN_RECV 状态

（3）客户端收到服务器端的SYN报文，回应一个ACK(ACK=y+1）报文，进入Established 状态

三次握手完成，TCP 客户端和服务器端成功地建立连接，可以开始传输数据了

数据传输： 每传递一次消息，服务端都会告诉客户端说收到消息了，这样确保数据不会丢失，因此我们说 TCP 是可靠地面向连接(连接一直连着)的传输协议

TCP四次挥手:

建立一个连接需要三次握手，而终止一个连接要经过四次挥手

TCP四次挥手的过程如下：

(1) 某个应用进程首先调用 close，称该端执行“主动关闭”（active close），该端的 TCP 于是发送一个 FIN 分节，表示数据发送完毕

(2) 接收到这个 FIN 的对端执行 “被动关闭”（passive close），这个 FIN 由 TCP 确认

注意：FIN 的接收也作为一个文件结束符（end-of-file）传递给接收端应用进 程，放在已排队等候该应用进程接收的任何其他数据之后，因为，FIN 的接收意 味着接收端应用进程在相应连接上再无额外数据可接收

(3) 一段时间后，接收到这个文件结束符的应用进程将调用 close 关闭它的套接字，这导致它的 TCP 也发送一个 FIN

(4) 接收这个最终FIN的原发送端TCP（即执行主动关闭的那一端）确认这个FIN

五、UDP 协议

UDP 协议: 面向无连接，数据不安全，速度快，不区分客户端与服务端

用于网络电话，在线视频网络会议等等,要求实时性比较高(数据传输快)不能有延迟

当应用程序希望通过 UDP 与一个应用程序通信时，传输数据之前源端和终端不建立连接

当它想传送时就简单地去抓取来自应用程序的数据，并尽可能快地把它扔到网络上

因此 UDP 是不可靠无连接的协议，因为有可能数据会丢失

六、TCP 和 UDP 的对比

TCP--提供的是面向连接、可靠的服务，当客户和服务器彼此交换数据前，必须先在双方之间建立一个 TCP 连接，之后才能传输数据，TCP 提供超时重发，丢弃重复数据，检验数据，流量控制等功能，保证数据能从一端传到另一端

UDP--是一个简单的不可靠的运输层协议，它只是把应用程序传给 IP 层的数据报 发送出去，但是并不能保证它们能到达目的地，由于 UDP 在传输数据报前不用在 客户和服务器之间建立一个连接，且没有超时重发等机制，故而传输速度很快

七、OSI 模型

OSI 模型是国际标准化组织（ISO）制定的一个用于计算机或通信系统间互联的 标准体系，一般称为 OSI 参考模型或七层模型

OSI 模型又将 TCP/IP 协议族的四层进行了具体划分，划分成了 7 层

八、socket

1、理解 Socket

首先我们写的网络编程，属于应用层，当我们写好了程序后，需要将数据发送给运输层，但是应用层和运输层通信需要遵循相关协议，关键是我们不了解运输层的协议， 那该怎么办呢？因此提供了 Socket 层，Socket 英文插座，插口，套接字意思

Socket 是应用层与 TCP/IP 协议族通信的中间软件抽象层，它把复杂的 TCP/IP 协 议族隐藏在 Socket 接口后面，对用户来说，让 Socket 去组织数据，以符合指定 的协议。(面向对象的特点，我们只负责编写逻辑即可，不用去管 TCP/IP 具体的 格式，Sockect 会帮我们做)

2、socket 发展史

套接字起源于 20 世纪 70 年代加利福尼亚大学伯克利分校版本的 Unix，有时 人们也把套接字称为“伯克利套接字”或“BSD 套接字”。一开始,套接字被设 计用在同 一台主机上多个应用程序之间的通讯。这也被称进程间通讯,或 IPC

套接字有两种（或者称为有两个种族）,分别是基于文件型的和基于网络型的

（1）基于文件型： 套接字家族的名字：AF_UNIX unix 一切皆文件，基于文件的套接字调用的就是底层的文件系统来取数据，两个 套接字进程运行在同一机器，可以通过访问同一个文件系统间接完成通信

（2）基于网络型： 套接字家族的名字：AF_INET (还有 AF_INET6 被用于 ipv6，还有一些其他的地址家族，不过，他们要么是只用 于某个平台，要么就是已经被废弃，或者是很少被使用，或者是根本没有实现， 所有地址家族中，AF_INET 是使用最广泛的一个，python 支持很多种地址家族， 但是由于我们只关心网络编程，所以大部分时候我么只使用 AF_INET)

（3）socket 参数详解

socket.socket(family=AF_INET,type=SOCK_STREAM)

参数	说明
family	地址系列应为 AF_INET(默认值),AF_INET6,AF_UNIX,AF_CAN 或 AF_RDS, （AF_UNIX 域实际上是使用本地 socket 文件来通信）
type	套接字类型应为 SOCK_STREAM(默认值),SOCK_DGRAM,SOCK_RAW 或其他 SOCK_常量之一，SOCK_STREAM 是基于 TCP 的，有保障的（即能保证数据正确传送到对方）面向连接的 SOCKET， 多用于资料传送SOCK_DGRAM 是基于 UDP 的，无保障的面向消息的 socket，多用于在网络上发广播信息

3、基于 TCP 协议的 Socket 使用

Socket 是基于 tcp 协议的，tcp 是基于链接的，因此在通讯开始之前，一定要先建立相关的链接，才能发送数据，必须先启动服务端，然后再启动客户端去链接服务端

4、基于 UDP 协议的 Socket 使用

udp 是无链接的，启动服务之后可以直接接受消息，不需要提前建立链接

九、案例：QQ 聊天室

服务端：

import socket

udp_sk = socket.socket(type=socket.SOCK_DGRAM)
udp_sk.bind(('127.0.0.1', 9999))
while True:
    msg, addr = udp_sk.recvfrom(1024)
    print(msg.decode('utf-8'))
    info = input('>>>server:').encode('utf-8')
    udp_sk.sendto(info, addr)

udp_sk.close()

客户端：

import socket

udp_sk = socket.socket(type=socket.SOCK_DGRAM)
ip_port = ('127.0.0.1', 9999)
while True:
    msg = input('>>>one说：')
    udp_sk.sendto(msg.encode('utf-8'), ip_port)
    ret, addr = udp_sk.recvfrom(1024)
    print('服务端返回信息-->', ret.decode('utf-8'))

udp_sk.close()

九、urllib 网络请求模块

urllib 库的基本使用 所谓网络请求，就是把 URL 地址中指定的网络资源从网络流中读取出来，保存 到本地。 在 python 中有很多库可以用来获取网络资源，我们先学习 urllib

代码实现：

from urllib import request

# 定义目标url

base_url = 'http://www.baidu.com'

# 发起一个Get类型请求
# 向指定的url发送请求，并返回服务器响应的文件对象
response = request.urlopen(url=base_url)

# 类文件对象支持文件对象的操作方法，如read()方法读取文件全部内容，返回字符串
html = response.read().decode('utf-8')  # 读取btyes类型，转成str类型

# 打印字符串
print(html)

# 对内容进行文件保存
with open('百度.html', 'w', encoding='utf-8') as f:
    f.write(html)

实际上，如果我们在浏览器上打开百度主页， 右键选择“查看源代码”，你会发 现，跟我们刚才打印出来的是一模一样，也就是说，上面的 4 行代码就已经帮我 们把百度的首页的全部代码爬了下来