HTTP与HTTPS
HTTP协议
全称是Hypertext Transfer Protocol
中文意思是:超文本传输协议,是一种发布和接收HTML(Hypertext Markup Language)页面的方法。
服务端口号为80端口
HTTPS协议
全称是Hypertext Transfer Protocol over Securesocket Layer
是HTTPS协议的加密版本,在HTTP下加入了SSL层,服务端口号是443
URL与URI(降噪)
URL(网址)是Uriform Resource Locator 的简写,统一资源定位符
一个URL由以下几部分组成:
①协议的类型
②主机名称 / 域名
③端口号
④查找路径
⑤查询参数
⑥锚点:前端用来做页面定位的。现在一些前后端分离项目,也用锚点来做导航
URI 统一资源标识符 Uriform Resource identifier
一个用于标识某一互联网资源名称的字符串
举例说明:
www.baidu.com/s 就是url
/s 就是uri
? 之后,称为请求参数
常见的请求方式
HTTP协议规定了浏览器与服务器进行数据交互的过程中必须要选择一种交互的方式。
在HTTP协议中,定义了八种请求方式。常见的有get请求与post请求:
get请求:
一般情况下,只从服务器获取数据下来,并不会对服务器资源产生任何影响的时候会使用get请求
post请求:
post请求,向服务器发送数据,上传文件等等。
会对服务器资源产生影响的时候会使用post请求。
请求参数在formdata中。
以上是网站开发中常用的两种方法。并且一般情况下都会遵循使用的原则。
但是,有的网站和服务器为了做反爬虫机制,也经常会不按常理出牌。
有可能一个应该使用get方法的请求就一定要改成post请求,这个要视情况而定。
常见的请求参数
HTTP协议中,向服务器发送一个请求,数据分为三部分
①第一个是把数据放在url中
②第二个是把数据放在body中(post请求时)
③第三个就是把数据放在head中
常见的请求头参数
user-agent 浏览器名称
referer 表明当前这个请求是从哪个url过来的
cookie:
http协议是无状态的。也就是同一个人发送了两次请求。
服务器没有能力知道这两个请求是否来自同一个人。
常见的响应状态码
200 请求正常,服务器正常的返回数据
301 永久重定向。
比如访问 www.360buy.com/ 会重定向到 www.jd.com/
404 请求的url在服务器上找不到,换句话说就是请求的url错误
418 发送请求遇到服务器端反爬虫,服务器拒绝响应数据
500 服务器内部错误,可能是服务器出现了bug
使用Chrome浏览器分析网站
Elements
可以帮助我们分析网页结构,获取我们想要的数据。
Console
打印输出网站的一些信息
Sources
相当于一个文件夹一样,加载这个网页所需要的所有的源文件,
除了 Elements 的源代码之外,还有一些 CSS 文件,JS文件等。
Network
查看整个网页发送的所有网络请求。
session的工作原理
session 代表服务器与浏览器的一次会话过程。
session是一种服务端的机制,session对象用来存储特定用户会话所需的信息。
session由服务端生成,保存在服务器的内存,缓存,硬盘或数据库中。
HTTP是一种无状态的请求,通过session或cookie可以记录会话过程。
session的基本原理
譬如,登录请求。
客户端,发送登录请求,在服务器端创建一个session对象,然后生成sessionID
响应cookie中存储sessionID,
此后客户端发送请求携带sessionID,通过sessionID判断是否是已登录用户。
cookie的工作原理
cookie是由服务端生成后,发送给客户端(通常是浏览器)
cookie总是保存在客户端
HTTP是无状态的,服务器不知道用户上一次做了什么。
这就严重阻碍了交互式web应用程序的一个实践。
cookie的基本原理
①创建cookie
②设置存储cookie
③发送cookie
④读取cookie
JSON数据及解析
JavaScript Object Notation
JS对象标记,是一种轻量级的数据交互格式,采用完全独立于编程语言的文本格式来存储和表示数据。
简洁和清晰的层次结构使得JSON成为理想的数据交互语言,易于阅读和编写,同时也易于机器解析和生成,并有效地提升网络传输效率。
在数据结构上,JSON与Python里的字典非常相似。
ajax请求
①ajax在浏览器与web服务器之间使用异步数据传输。
这样就可以使网页从服务器请求少量的信息,而不是整个页面。
②ajax技术独立于浏览器和平台。
③ajax一般返回的是json,直接对ajax地址进行post或get,就返回json数据了。