TLS(SSL)相关的那些玩意儿

634 阅读36分钟

一、背景

之前没接触过证书加密的话,对证书相关的这些概念真是感觉挺棘手的,因为一下子来了一大堆新名词,看起来像是另一个领域的东西,而不是我们所熟悉的编程领域的那些东西,起码我个人感觉如此,且很长时间都没怎么搞懂.写这篇文章的目的就是为了理理清这些概念,搞清楚它们的含义及关联,还有一些基本操作.

二、名词解释

SSL AND TLS

  • SSL:(Secure Socket Layer,安全套接字层),位于可靠的面向连接的网络层协议和应用层协议之间的一种协议层。SSL通过互相认证、使用数字签名确保完整性、使用加密确保私密性,以实现客户端和服务器之间的安全通讯。该协议由两层组成:SSL记录协议和SSL握手协议。
  • TLS:(Transport Layer Security,传输层安全协议),用于两个应用程序之间提供保密性和数据完整性。该协议由两层组成:TLS记录协议和TLS握手协议。
  • SSL是Netscape开发的专门用户保护Web通讯的,目前版本为3.0。最新版本的TLS 1.0是IETF(工程任务组)制定的一种新的协议,它建立在SSL 3.0协议规范之上,是SSL 3.0的后续版本。两者差别极小,可以理解为SSL 3.1,它是写入了RFC的。
  • SSL1.0: 已废除
  • SSL2.0: RFC6176, 已废除
  • SSL3.0: RFC6101, 基本废除
  • TLS1.0: RFC2246, 少数古董服务器仍在使用
  • TLS1.1: RFC4346
  • TLS1.2: RFC5246, 目前已广泛使用
  • TLS1.3: RFC8446

X.509

  • 是一种证书标准,主要定义了证书中应该包含哪些内容.其详情可以参考RFC5280,SSL使用的就是这种证书标准.

X.509 一种证书标准,同样的X.509证书,可能有不同的编码格式

PEM - Privacy Enhanced Mail

一种证书编码格式,X.509证书标准的一种编码格式

打开看文本格式,以"-----BEGIN..."开头, "-----END..."结尾,内容是BASE64编码

DER - Distinguished Encoding Rules

打开看是二进制格式,不可读,可以使用命令 openssl x509 -in certificate.der -inform der -text -noout 查看DER格式证书的信息.

相关的文件扩展名

这是比较误导人的地方,虽然我们已经知道有PEM和DER这两种编码格式,但文件扩展名并不一定就叫"PEM"或者"DER",常见的扩展名除了PEM和DER还有以下这些,它们除了编码格式可能不同之外,内容也有差别,但大多数都能相互转换编码格式.

CRT

是certificate的三个字母,其实还是证书的意思,常见于LINIX系统,有可能是PEM编码,也有可能是DER编码,大多数应该是PEM编码,一种证书文件扩展名.

CER

也是一种证书文件扩展名,还是certificate,还是证书,常见于Windows系统,同样的,可能是PEM编码,也可能是DER编码,大多数应该是DER编码.

KEY

通常用来存放一个公钥或者私钥,并非X.509证书,编码同样的,可能是PEM,也可能是DER.

查看KEY的办法:openssl rsa -in mykey.key -text -noout

如果是DER格式的话,同理应该这样了:openssl rsa -in mykey.key -text -noout -inform der

CSR

Certificate Signing Request,即证书签名请求,这个并不是证书,而是向权威证书颁发机构获得签名证书的申请,其核心内容是一个公钥(当然还附带了一些别的信息),在生成这个申请的时候,同时也会生成一个私钥,私钥要自己保管好.做过iOS APP的朋友都应该知道是怎么向苹果申请开发者证书的吧.查看的办法:openssl req -noout -text -in my.csr (如果是DER格式的话照旧加上-inform der,这里不写了)

PFX/P12

predecessor of PKCS#12,对*nix服务器来说,一般CRT和KEY是分开存放在不同文件中的,但Windows的IIS则将它们存在一个PFX文件中,(因此这个文件包含了证书及私钥)这样会不会不安全?应该不会,PFX通常会有一个"提取密码",你想把里面的东西读取出来的话,它就要求你提供提取密码,PFX使用的时DER编码,如何把PFX转换为PEM编码?

openssl pkcs12 -in for-iis.pfx -out for-iis.pem -nodes

这个时候会提示你输入提取代码. for-iis.pem就是可读的文本.

生成pfx的命令类似这样:openssl pkcs12 -export -in certificate.crt -inkey privateKey.key -out certificate.pfx -certfile CACert.crt

其中CACert.crt是CA(权威证书颁发机构)的根证书,有的话也通过-certfile参数一起带进去.这么看来,PFX其实是个证书密钥库.

JKS

即Java Key Storage,这是Java的专利,跟OpenSSL关系不大,利用Java的一个叫"keytool"的工具,可以将PFX转为JKS,当然了,keytool也能直接生成JKS,不过在此就不多表了.

PKCS1

全名《Public-Key Cryptography Standards (PKCS) #1: RSA Cryptography Specifications》从名称上可以看出它是针对RSA算法的一个规范。里面包含了RSA加密、解密、签名验签等所有的内容,当然也包含了私钥的格式。

PKCS8

全名《Public-Key Cryptography Standards (PKCS) #8: Private-Key Information Syntax Specification》从名称上可以看出它也是一个专门用来存储私钥的文件格式规范。

PKIX

PKIX stands for Public Key Infrastructure X.509

三、OpenSSL

1、openssl简介

openssl 是目前最流行的 SSL 密码库工具,其提供了一个通用、健壮、功能完备的工具套件,用以支持SSL/TLS 协议的实现。官网:www.openssl.org/source/

构成部分

  • 密码算法库
  • 密钥和证书封装管理功能
  • SSL通信API接口

用途

  • 生成 RSA、DH、DSA key 参数
  • 生成 X.509 证书、证书签名请求(CSR)和CRLs(证书回收列表)
  • 计算消息摘要
  • 使用各种 Cipher加密/解密
  • SSL/TLS 客户端以及服务器的测试
  • 处理S/MIME 或者加密邮

2、RSA密钥操作

默认情况下,openssl 输出格式为 PKCS#1-PEM

生成RSA私钥(无加密)

openssl genrsa -out rsa_private.key 2048

生成RSA公钥

openssl rsa -in rsa_private.key -pubout -out rsa_public.key

生成RSA私钥(使用aes256加密),其中 passout 代替shell 进行密码输入,否则会提示输入密码;

openssl genrsa -aes256 -passout pass:111111 -out rsa_aes_private.key 2048

生成加密后的内容如:

-----BEGIN RSA PRIVATE KEY-----

Proc-Type: 4,ENCRYPTED

DEK-Info: AES-256-CBC,5584D000DDDD53DD5B12AE935F05A007

Base64 Encoded Data

-----END RSA PRIVATE KEY-----

此时若生成公钥,需要提供密码

openssl rsa -in rsa_aes_private.key -passin pass:111111 -pubout -out rsa_public.key

其中 passout 代替shell 进行密码输入,否则会提示输入密码。

私钥转非加密

openssl rsa -in rsa_aes_private.key -passin pass:111111 -out rsa_private.key

私钥转加密

openssl rsa -in rsa_private.key -aes256 -passout pass:111111 -out rsa_aes_private.key

私钥PEM转DER

openssl rsa -in rsa_private.key -outform der-out rsa_aes_private.der

-inform和-outform 参数制定输入输出格式,由der转pem格式同理

查看私钥明细

openssl rsa -in rsa_private.key -noout -text

使用-pubin参数可查看公钥明细

私钥PKCS#1转PKCS#8

openssl pkcs8 -topk8 -in rsa_private.key -passout pass:111111 -out pkcs8_private.key

其中-passout指定了密码,输出的pkcs8格式密钥为加密形式,pkcs8默认采用des3 加密算法,内容如下:

-----BEGIN ENCRYPTED PRIVATE KEY-----

Base64 Encoded Data

-----END ENCRYPTED PRIVATE KEY-----

使用-nocrypt参数可以输出无加密的pkcs8密钥,如下:

-----BEGIN PRIVATE KEY-----

Base64 Encoded Data

-----END PRIVATE KEY-----

部分参数含义如下:

genrsa——使用RSA算法产生私钥

-aes256——使用256位密钥的AES算法对私钥进行加密

-out——输出文件的路径

1024——指定私钥长度

rsa——使用RSA私钥产生公钥

3、生成自签名证书

生成 RSA 私钥和自签名证书

openssl req -newkey rsa:2048 -nodes -keyout rsa_private.key -x509 -days 365 -out cert.crt

req是证书请求的子命令,-newkey rsa:2048 -keyout private_key.pem 表示生成私钥(PKCS8格式),-nodes 表示私钥不加密,若不带参数将提示输入密码;

-x509表示输出证书,-days365 为有效期,此后根据提示输入证书拥有者信息;

若执行自动输入,可使用-subj选项:

openssl req -newkey rsa:2048 -nodes -keyout rsa_private.key -x509 -days 365 -out cert.crt -subj "/C=CN/ST=GD/L=SZ/O=vihoo/OU=dev/CN=example.com/emailAddress=yy@example.com"

使用 已有RSA 私钥生成自签名证书

openssl req -new -x509 -days 365 -key rsa_private.key -out cert.crt

-new 指生成证书请求,加上-x509 表示直接输出证书,-key 指定私钥文件,其余选项与上述命令相同

4、生成签名请求及CA 签名

使用 RSA私钥生成 CSR 签名请求

openssl genrsa -aes256 -passout pass:111111 -out server.key 2048

openssl req -new -key server.key -out server.csr

此后输入密码、server证书信息完成,也可以命令行指定各类参数

openssl req -new -key server.key -passin pass:111111 -out server.csr -subj "/C=CN/ST=GD/L=SZ/O=vihoo/OU=dev/CN=example.com/emailAddress=yy@example.com"

*** 此时生成的 csr签名请求文件可提交至 CA进行签发 ***

查看CSR 的细节

cat server.csr (type server.csr for windows)

-----BEGIN CERTIFICATE REQUEST-----

Base64EncodedData

-----END CERTIFICATE REQUEST-----

openssl req -noout -text -in server.csr

使用 CA 证书及CA密钥 对请求签发证书进行签发,生成 x509证书

openssl x509 -req -days 3650 -in server.csr -CA ca.crt -CAkey ca.key -passin pass:111111 -CAcreateserial -out server.crt

其中 CAxxx 选项用于指定CA 参数输入

5、证书查看及转换

查看证书细节

openssl x509 -in cert.crt -noout -text

转换证书编码格式

openssl x509 -in cert.cer -inform DER -outform PEM -out cert.pem

合成 pkcs#12 证书(含私钥)

** 将 pem 证书和私钥转 pkcs#12 证书 **

openssl pkcs12 -export -in server.crt -inkey server.key -passin pass:111111 -password pass:111111 -out server.p12

其中-export指导出pkcs#12 证书,-inkey 指定了私钥文件,-passin 为私钥(文件)密码(nodes为无加密),-password 指定 p12文件的密码(导入导出)

** 将 pem 证书和私钥/CA 证书 合成pkcs#12 证书**

*openssl pkcs12 -export -in server.crt -inkey server.key -passin pass:111111 *

-chain -CAfile ca.crt -password pass:111111 -out server-all.p12

其中-chain指示同时添加证书链,-CAfile 指定了CA证书,导出的p12文件将包含多个证书。(其他选项:-name可用于指定server证书别名;-caname用于指定ca证书别名)

** pcks#12 提取PEM文件(含私钥) **

openssl pkcs12 -in server.p12 -password pass:111111 -passout pass:111111 -out out/server.pem

其中-password 指定 p12文件的密码(导入导出),-passout指输出私钥的加密密码(nodes为无加密)

导出的文件为pem格式,同时包含证书和私钥(pkcs#8):

Bag Attributes
    localKeyID: 97 DD 46 3D 1E 91 EF 01 3B 2E 4A 75 81 4F 11 A6 E7 1F 79 40 
subject=/C=CN/ST=GD/L=SZ/O=vihoo/OU=dev/CN=vihoo.com/emailAddress=yy@vihoo.com
issuer=/C=CN/ST=GD/L=SZ/O=viroot/OU=dev/CN=viroot.com/emailAddress=yy@viroot.com
-----BEGIN CERTIFICATE-----
MIIDazCCAlMCCQCIOlA9/dcfEjANBgkqhkiG9w0BAQUFADB5MQswCQYDVQQGEwJD
1LpQCA+2B6dn4scZwaCD
-----END CERTIFICATE-----
Bag Attributes
    localKeyID: 97 DD 46 3D 1E 91 EF 01 3B 2E 4A 75 81 4F 11 A6 E7 1F 79 40 
Key Attributes: <No Attributes>
-----BEGIN ENCRYPTED PRIVATE KEY-----
MIIEvAIBADANBgkqhkiG9w0BAQEFAASCBKYwggSiAgEAAoIBAQDC/6rAc1YaPRNf
K9ZLHbyBTKVaxehjxzJHHw==
-----END ENCRYPTED PRIVATE KEY-----

仅提取私钥

openssl pkcs12 -in server.p12 -password pass:111111 -passout pass:111111 -nocerts -out out/key.pem

仅提取证书(所有证书)

openssl pkcs12 -in server.p12 -password pass:111111 -nokeys -out out/key.pem

仅提取ca证书

openssl pkcs12 -in server-all.p12 -password pass:111111 -nokeys -cacerts -out out/cacert.pem

仅提取server证书

openssl pkcs12 -in server-all.p12 -password pass:111111 -nokeys -clcerts -out out/cert.pem

6、自签SSL服务端和客户端证书

基本生成步骤

  • 生成CA根证书
  • 生成服务端证书
  • 生成客户端证书(如果需要做双向认证的话)

生成根证书

#生成root私钥 
openssl genrsa -out root.key 1024 
 
#根据私钥创建根证书请求文件,需要输入一些证书的元信息:邮箱、域名等 
openssl req -new -out root.csr -key root.key 
 
#结合私钥和请求文件,创建根证书,有效期10年 
openssl x509 -req -in root.csr -out root.crt -signkey root.key -CAcreateserial -days 3650 

生成服务端证书

# 创建服务端私钥 
openssl genrsa -out server.key 1024 
 
# 根据私钥生成请求文件 
openssl req -new -out server.csr -key server.key 
 
# 结合私钥和请求文件创建服务端证书,有效期10年 
openssl x509 -req -in server.csr -out server.crt -CA root.crt -CAkey root.key -CAcreateserial -days 3650

生成客户端证书

# 生成私钥 
openssl genrsa -out client.key 1024 
 
# 申请请求文件 
openssl req -new -out client.csr -key client.key 
 
# 生成证书 
openssl x509 -req -in client.csr -out client.crt -CA root.crt -CAkey root.key -CAcreateserial -days 3650 
 
# 生成客户端集成证书pkcs12格式的文件,方便浏览器或者http客户端访问(密码:123456) 
openssl pkcs12 -export -clcerts -in client.crt -inkey client.key -out client.p12 

7、openssl其他命令参考

1. openssl list-standard-commands(标准命令)
    1) asn1parse: asn1parse用于解释用ANS.1语法书写的语句(ASN一般用于定义语法的构成) 
    2) ca: ca用于CA的管理 
    openssl ca [options]:
        2.1) -selfsign
        使用对证书请求进行签名的密钥对来签发证书"自签名",这种情况发生在生成证书的客户端签发证书的CA都是同一台机器(也是我们大多数实验中的情况),我们可以使用同一个
密钥对来进行"自签名"
        2.2) -in file
        需要进行处理的PEM格式的证书
        2.3) -out file
        处理结束后输出的证书文件
        2.4) -cert file
        用于签发的根CA证书
        2.5) -days arg 
        指定签发的证书的有效时间
        2.6) -keyfile arg   
        CA的私钥证书文件
        2.7) -keyform arg
        CA的根私钥证书文件格式:
            2.7.1) PEM
            2.7.2) ENGINE 
        2.8) -key arg   
        CA的根私钥证书文件的解密密码(如果加密了的话)
        2.9) -config file    
        配置文件
    example1: 利用CA证书签署请求证书
    openssl ca -in server.csr -out server.crt -cert ca.crt -keyfile ca.key  

    3) req: X.509证书签发请求(CSR)管理
    openssl req [options] <infile >outfile
        3.1) -inform arg
        输入文件格式
            3.1.1) DER
            3.1.2) PEM
        3.2) -outform arg   
        输出文件格式
            3.2.1) DER
            3.2.2) PEM
        3.3) -in arg
        待处理文件
        3.4) -out arg
        待输出文件
        3.5) -passin        
        用于签名待生成的请求证书的私钥文件的解密密码
        3.6) -key file
        用于签名待生成的请求证书的私钥文件
        3.7) -keyform arg  
            3.7.1) DER
            3.7.2) NET
            3.7.3) PEM
        3.8) -new
        新的请求
        3.9) -x509          
        输出一个X509格式的证书 
        3.10) -days
        X509证书的有效时间  
        3.11) -newkey rsa:bits 
        生成一个bits长度的RSA私钥文件,用于签发  
        3.12) -[digest]
        HASH算法
            3.12.1) md5
            3.12.2) sha1
            3.12.3) md2
            3.12.4) mdc2
            3.12.5) md4
        3.13) -config file   
        指定openssl配置文件
        3.14) -text: text显示格式
    example1: 利用CA的RSA密钥创建一个自签署的CA证书(X.509结构) 
    openssl req -new -x509 -days 3650 -key server.key -out ca.crt 
    example2: 用server.key生成证书签署请求CSR(这个CSR用于之外发送待CA中心等待签发)
    openssl req -new -key server.key -out server.csr
    example3: 查看CSR的细节
    openssl req -noout -text -in server.csr

    4) genrsa: 生成RSA参数
    openssl genrsa [args] [numbits]
        [args]
        4.1) 对生成的私钥文件是否要使用加密算法进行对称加密:
            4.1.1) -des: CBC模式的DES加密
            4.1.2) -des3: CBC模式的DES加密
            4.1.3) -aes128: CBC模式的AES128加密
            4.1.4) -aes192: CBC模式的AES192加密
            4.1.5) -aes256: CBC模式的AES256加密
        4.2) -passout arg: arg为对称加密(desdesaes)的密码(使用这个参数就省去了console交互提示输入密码的环节)
        4.3) -out file: 输出证书私钥文件
        [numbits]: 密钥长度
    example: 生成一个1024位的RSA私钥,并用DES加密(密码为1111),保存为server.key文件
    openssl genrsa -out server.key -passout pass:1111 -des3 1024 

    5) rsa: RSA数据管理
    openssl rsa [options] <infile >outfile
        5.1) -inform arg
        输入密钥文件格式:
            5.1.1) DER(ASN1)
            5.1.2) NET
            5.1.3) PEM(base64编码格式)
         5.2) -outform arg
         输出密钥文件格式
            5.2.1) DER
            5.2.2) NET
            5.2.3) PEM
        5.3) -in arg
        待处理密钥文件 
        5.4) -passin arg
        输入这个加密密钥文件的解密密钥(如果在生成这个密钥文件的时候,选择了加密算法了的话)
        5.5) -out arg
        待输出密钥文件
        5.6) -passout arg  
        如果希望输出的密钥文件继续使用加密算法的话则指定密码 
        5.7) -des: CBC模式的DES加密
        5.8) -des3: CBC模式的DES加密
        5.9) -aes128: CBC模式的AES128加密
        5.10) -aes192: CBC模式的AES192加密
        5.11) -aes256: CBC模式的AES256加密
        5.12) -text: 以text形式打印密钥key数据 
        5.13) -noout: 不打印密钥key数据 
        5.14) -pubin: 检查待处理文件是否为公钥文件
        5.15) -pubout: 输出公钥文件
    example1: 对私钥文件进行解密
    openssl rsa -in server.key -passin pass:111 -out server_nopass.key
    example:2: 利用私钥文件生成对应的公钥文件
    openssl rsa -in server.key -passin pass:111 -pubout -out server_public.key

    6) x509:
    本指令是一个功能很丰富的证书处理工具可以用来显示证书的内容,转换其格式,给CSR签名等X.509证书的管理工作
    openssl x509 [args]    
        6.1) -inform arg
        待处理X509证书文件格式
            6.1.1) DER
            6.1.2) NET
            6.1.3) PEM
        6.2) -outform arg   
        待输出X509证书文件格式
            6.2.1) DER
            6.2.2) NET
            6.2.3) PEM
        6.3) -in arg 
        待处理X509证书文件
        6.4) -out arg       
        待输出X509证书文件
        6.5) -req            
        表明输入文件是一个"请求签发证书文件(CSR)",等待进行签发 
        6.6) -days arg       
        表明将要签发的证书的有效时间 
        6.7) -CA arg 
        指定用于签发请求证书的根CA证书 
        6.8) -CAform arg     
        根CA证书格式(默认是PEM) 
        6.9) -CAkey arg      
        指定用于签发请求证书的CA私钥证书文件,如果这个option没有参数输入,那么缺省认为私有密钥在CA证书文件里有
        6.10) -CAkeyform arg  
        指定根CA私钥证书文件格式(默认为PEM格式)
        6.11) -CAserial arg   
        指定序列号文件(serial number file)
        6.12) -CAcreateserial 
        如果序列号文件(serial number file)没有指定,则自动创建它     
    example1: 转换DER证书为PEM格式
    openssl x509 -in cert.cer -inform DER -outform PEM -out cert.pem
    example2: 使用根CA证书对"请求签发证书"进行签发,生成x509格式证书
    openssl x509 -req -days 3650 -in server.csr -CA ca.crt -CAkey ca.key -CAcreateserial -out server.crt
    example3: 打印出证书的内容
    openssl x509 -in server.crt -noout -text 

    7) crl: crl是用于管理CRL列表 
    openssl crl [args]
        7.1) -inform arg
        输入文件的格式
            7.1.1) DER(DER编码的CRL对象)
            7.1.2) PEM(默认的格式)(base64编码的CRL对象)
        7.2) -outform arg
        指定文件的输出格式 
            7.2.1) DER(DER编码的CRL对象)
            7.2.2) PEM(默认的格式)(base64编码的CRL对象)
        7.3) -text: 
        以文本格式来打印CRL信息值
        7.4) -in filename
        指定的输入文件名默认为标准输入
        7.5) -out filename
        指定的输出文件名默认为标准输出
        7.6) -hash
        输出颁发者信息值的哈希值这一项可用于在文件中根据颁发者信息值的哈希值来查询CRL对象
        7.7) -fingerprint
        打印CRL对象的标识
        7.8) -issuer
        输出颁发者的信息值
        7.9) -lastupdate
        输出上一次更新的时间
        7.10) -nextupdate
        打印出下一次更新的时间 
        7.11) -CAfile file
        指定CA文件,用来验证该CRL对象是否合法 
        7.12) -verify
        是否验证证书        
    example1: 输出CRL文件,包括(颁发者信息HASH值上一次更新的时间下一次更新的时间)
    openssl crl -in crl.crl -text -issuer -hash -lastupdate –nextupdate 
    example2: 将PEM格式的CRL文件转换为DER格式
    openssl crl -in crl.pem -outform DER -out crl.der  

    8) crl2pkcs7: 用于CRL和PKCS#7之间的转换 
    openssl crl2pkcs7 [options] <infile >outfile
    转换pem到spc
    openssl crl2pkcs7 -nocrl -certfile venus.pem -outform DER -out venus.spc
    https://www.openssl.org/docs/apps/crl2pkcs7.html

    9) pkcs12: PKCS#12数据的管理
    pkcs12文件工具,能生成和分析pkcs12文件PKCS#12文件可以被用于多个项目,例如包含Netscape MSIEMS Outlook
    openssl pkcs12 [options] 
    http://blog.csdn.net/as3luyuan123/article/details/16105475
    https://www.openssl.org/docs/apps/pkcs12.html

    10) pkcs7: PCKS#7数据的管理 
    用于处理DER或者PEM格式的pkcs#7文件
    openssl pkcs7 [options] <infile >outfile
    http://blog.csdn.net/as3luyuan123/article/details/16105407
    https://www.openssl.org/docs/apps/pkcs7.html
 
2. openssl list-message-digest-commands(消息摘要命令)
    1) dgst: dgst用于计算消息摘要 
    openssl dgst [args]
        1.1) -hex           
        以16进制形式输出摘要
        1.2) -binary        
        以二进制形式输出摘要
        1.3) -sign file    
        以私钥文件对生成的摘要进行签名
        1.4) -verify file    
        使用公钥文件对私钥签名过的摘要文件进行验证 
        1.5) -prverify file  
        以私钥文件对公钥签名过的摘要文件进行验证
        verify a signature using private key in file
        1.6) 加密处理
            1.6.1) -md5: MD5 
            1.6.2) -md4: MD4         
            1.6.3) -sha1: SHA1 
            1.6.4) -ripemd160
    example1: 用SHA1算法计算文件file.txt的哈西值,输出到stdout
    openssl dgst -sha1 file.txt
    example2: 用dss1算法验证file.txt的数字签名dsasign.bin,验证的private key为DSA算法产生的文件dsakey.pem
    openssl dgst -dss1 -prverify dsakey.pem -signature dsasign.bin file.txt

    2) sha1: 用于进行RSA处理
    openssl sha1 [args] 
        2.1) -sign file
        用于RSA算法的私钥文件 
        2.2) -out file
        输出文件爱你
        2.3) -hex   
        以16进制形式输出
        2.4) -binary
        以二进制形式输出  
    example1: 用SHA1算法计算文件file.txt的HASH值,输出到文件digest.txt
    openssl sha1 -out digest.txt file.txt
    example2: 用sha1算法为文件file.txt签名,输出到文件rsasign.bin,签名的private key为RSA算法产生的文件rsaprivate.pem
    openssl sha1 -sign rsaprivate.pem -out rsasign.bin file.txt

3. openssl list-cipher-commands (Cipher命令的列表)
    1) aes-128-cbc
    2) aes-128-ecb
    3) aes-192-cbc
    4) aes-192-ecb
    5) aes-256-cbc
    6) aes-256-ecb
    7) base64
    8) bf
    9) bf-cbc
    10) bf-cfb
    11) bf-ecb
    12) bf-ofb
    13) cast
    14) cast-cbc
    15) cast5-cbc
    16) cast5-cfb
    17) cast5-ecb
    18) cast5-ofb
    19) des
    20) des-cbc
    21) des-cfb
    22) des-ecb
    23) des-ede
    24) des-ede-cbc
    25) des-ede-cfb
    26) des-ede-ofb
    27) des-ede3
    28) des-ede3-cbc
    29) des-ede3-cfb
    30) des-ede3-ofb
    31) des-ofb
    32) des3
    33) desx
    34) rc2
    35) rc2-40-cbc
    36) rc2-64-cbc
    37) rc2-cbc
    38) rc2-cfb
    39) rc2-ecb
    40) rc2-ofb
    41) rc4
    42) rc4-40

\

四、PKI ( Public Key Infrastructure , 公开密钥基础设施 )体系

公钥基础设施PKI(PKI基础知识),是以不对称密钥加密技术为基础,以数据机密性、完整性、身份认证、行为不可抵赖性为目的,实施和提供安全服务的具有普遍适用性的安全基础设施。它是目前支持安全5要素的唯一可行的技术。

一个网络的PKI包括以下几个基本的构件:

1.数字证书,由认证机构经过数字签名后发给网上交易主体的一段电子文档。它提供了PKI的基础。

2.认证中心(CA),是PKI的核心。它是第三方网上认证机构,负责使用数字证书的签发、撤销、生命周期管理,密钥管理服务。

3.数字证书审批机构(RA),是CA数字证书发放、管理的延伸。它是PKI不可缺少的部分。

4.数字签名,是利用发信者的私钥和密码算法对信息或电子摘要进行加密处理的过程和结果。

5.密钥和证书管理工具,管理和审计数字证书的工具。

6.双证书体系,PKI采用双证书体系,非对称算法和对称算法。

7.PKI的体系架构,包括两部分,信任服务体系和密钥管理中心。信任服务体系提供基于PKI数字证书认证机制的实体身份鉴别服务;密钥管理体系提供密钥管理服务,向授权管理部门提供应急情况下的特殊密钥回复功能。

1、RSA身份验证的隐患

身份验证和密钥协商是TLS的基础功能,要求的前提是合法的服务器掌握着对应的私钥。但RSA算法无法确保服务器身份的合法性,因为公钥并不包含服务器的信息,存在安全隐患:

  • 客户端C和服务器S进行通信,中间节点M截获了二者的通信;
  • 节点M自己计算产生一对公钥pub_M和私钥pri_M;
  • C向S请求公钥时,M把自己的公钥pub_M发给了C;
  • C使用公钥 pub_M加密的数据能够被M解密,因为M掌握对应的私钥pri_M,而 C无法根据公钥信息判断服务器的身份,从而 C和 M之间建立了"可信"加密连接;
  • 中间节点 M和服务器S之间再建立合法的连接,因此 C和 S之间通信被M完全掌握,M可以进行信息的窃听、篡改等操作。
  • 另外,服务器也可以对自己的发出的信息进行否认,不承认相关信息是自己发出。

因此该方案下至少存在两类问题:中间人攻击和信息抵赖。

2、身份验证CA和证书

解决上述身份验证问题的关键是确保获取的公钥途径是合法的,能够验证服务器的身份信息,为此需要引入权威的第三方机构CA。CA 负责核实公钥的拥有者的信息,并颁发认证"证书",同时能够为使用者提供证书验证服务,即PKI体系(PKI基础知识)。

基本的原理为,CA负责审核信息,然后对关键信息利用私钥进行"签名",公开对应的公钥,客户端可以利用公钥验证签名。CA也可以吊销已经签发的证书,基本的方式包括两类CRL文件和OCSP。CA使用具体的流程如下:

  • 服务方S向第三方机构CA提交公钥、组织信息、个人信息(域名)等信息并申请认证;
  • CA通过线上、线下等多种手段验证申请者提供信息的真实性,如组织是否存在、企业是否合法,是否拥有域名的所有权等;
  • 如信息审核通过,CA会向申请者签发认证文件-证书。
  • 证书包含以下信息:申请者公钥、申请者的组织信息和个人信息、签发机构 CA的信息、有效时间、证书序列号等信息的明文,同时包含一个签名;
  • 签名的产生算法:首先,使用散列函数计算公开的明文信息的信息摘要,然后,采用 CA的私钥对信息摘要进行加密,密文即签名;
  • 客户端 C 向服务器 S 发出请求时,S 返回证书文件;
  • 客户端 C读取证书中的相关的明文信息,采用相同的散列函数计算得到信息摘要,然后,利用对应 CA的公钥解密签名数据,对比证书的信息摘要,如果一致,则可以确认证书的合法性,即公钥合法;
  • 客户端然后验证证书相关的域名信息、有效时间等信息;
  • 客户端会内置信任CA的证书信息(包含公钥),如果CA不被信任,则找不到对应 CA的证书,证书也会被判定非法。

在这个过程注意几点:

  • 申请证书不需要提供私钥,确保私钥永远只能服务器掌握;
  • 证书的合法性仍然依赖于非对称加密算法,证书主要是增加了服务器信息以及签名;
  • 内置 CA 对应的证书称为根证书,颁发者和使用者相同,自己为自己签名,即自签名证书
  • 证书=公钥+申请者与颁发者信息+签名;

PS:证书类型

DV类型证书: 中文全称是域名验证型证书,证书审核方式为通过验证域名所有权即可签发证书。此类型证书适合个人和小微企业申请,价格较低,申请快捷,但是证书中无法显示企业信息,安全性较差。在浏览器中显示锁型标志。

OV类型证书: 中文全称是企业验证型证书,证书审核方式为通过验证域名所有权和申请企业的真实身份信息才能签发证书。目前OV类型证书是全球运用最广,兼容性最好的证书类型。此证书类型适合中型企业和互联网业务申请。在浏览器中显示锁型标志,并能通过点击查看到企业相关信息。支持ECC高安全强度加密算法,加密数据更加安全,加密性能更高。

EV类型证书: 中文全称是增强验证型证书,证书审核级别为所有类型最严格验证方式,在OV类型的验证基础上额外验证其他企业的相关信息,比如银行开户许可证书。EV类型证书多使用于银行,金融,证券,支付等高安全标准行业。其在地址栏可以显示独特的EV绿色标识地址栏,最大程度的标识出网站的可信级别。支持ECC高安全强度加密算法,加密数据更加安全,加密性能更高。

3、证书链

如CA根证书和服务器证书中间增加一级证书机构,即中间证书,证书的产生和验证原理不变,只是增加一层验证,只要最后能够被任何信任的CA根证书验证合法即可。

  • 服务器证书 server.pem 的签发者为中间证书机构 inter,inter 根据证书 inter.pem 验证 server.pem 确实为自己签发的有效证书;
  • 中间证书inter.pem的签发 CA 为root,root 根据证书root.pem验证inter.pem为自己签发的合法证书;
  • 客户端内置信任 CA 的 root.pem 证书,因此服务器证书 server.pem的被信任。

服务器证书、中间证书与根证书在一起组合成一条合法的证书链,证书链的验证是自下而上的信任传递的过程。

二级证书结构存在的优势

  • 减少根证书结构的管理工作量,可以更高效的进行证书的审核与签发;
  • 根证书一般内置在客户端中,私钥一般离线存储,一旦私钥泄露,则吊销过程非常困难,无法及时补救;
  • 中间证书结构的私钥泄露,则可以快速在线吊销,并重新为用户签发新的证书;
  • 证书链四级以内一般不会对 HTTPS 的性能造成明显影响

证书链有以下特点:

  • 同一本服务器证书可能存在多条合法的证书链。因为证书的生成和验证基础是公钥和私钥对,如果采用相同的公钥和私钥生成不同的中间证书,针对被签发者而言,该签发机构都是合法的 CA,不同的是中间证书的签发机构不同;
  • 不同证书链的层级不一定相同,可能二级、三级或四级证书链。中间证书的签发机构可能是根证书机构也可能是另一个中间证书机构,所以证书链层级不一定相同。

4、证书吊销

CA 机构能够签发证书,同样也存在机制宣布以往签发的证书无效。证书使用者不合法,CA 需要废弃该证书;或者私钥丢失,使用者申请让证书无效。主要存在两类机制:CRL 与 OCSP。

a.CRL

Certificate Revocation List, 证书吊销列表(什么是证书吊销列表(CRL)?吊销列表起什么作用),一个单独的文件。该文件包含了 CA 已经吊销的证书序列号(唯一)与吊销日期,同时该文件包含生效日期并通知下次更新该文件的时间,当然该文件必然包含 CA 私钥的签名以验证文件的合法性。

证书中一般会包含一个 URL 地址 CRL Distribution Point,通知使用者去哪里下载对应的 CRL 以校验证书是否吊销。该吊销方式的优点是不需要频繁更新,但是不能及时吊销证书,因为 CRL 更新时间一般是几天,这期间可能已经造成了极大损失。

b.OCSP

Online Certificate Status Protocol, 证书状态在线查询协议,一个实时查询证书是否吊销的方式。请求者发送证书的信息并请求查询,服务器返回正常、吊销或未知中的任何一个状态。证书中一般也会包含一个 OCSP 的 URL 地址,要求查询服务器具有良好的性能。部分 CA 或大部分的自签 CA (根证书)都是未提供 CRL 或 OCSP 地址的,对于吊销证书会是一件非常麻烦的事情。

五、SSL/TLS 协议

目前TLS最新版本1.3,目前大部分在使用的TLS1.2,所以下面就只梳理TLS1.2和TLS1.3握手流程

TLS主要包含两部分协议,一部分是Record Protocol,描述了数据加密的格式和规范,另一部分是Handshaking Protocols,描述了握手过程。

握手的目的有两个,一个是保证通信的双方都是自己期待的对方,任何一方都不可能被冒充,另一个是交换加密密码,使得只有通信的双方知道这个密码,而别人不知道。前一个就是我们常说的认证,而后一个就是密码交换。认证是通过证书来达到的,而密码交换是通过证书里面的非对称加密算法(公私钥)来实现的。

1、Cipher Suites

密码套件就是一个密码算法三件套,里面包含了一个非对称加密算法,一个对称加密算法,以及一个数据摘要算法。

以TLS_RSA_WITH_AES_128_CBC_SHA为例,RSA是非对称加密算法,表示后面用到的证书里面的公钥用的是RSA算法,通信的过程中需要签名的地方也用这个算法,并且密码(key)的交换过程也使用这个算法;AES_128_CBC是对称加密算法,用来加密握手后传输的数据,其密码由RSA负责协商生成;SHA是数据摘要算法,表示后面交换的证书里签名用到的摘要算法是sha1,并且后续通信过程中需要用到数据校验的地方也是用的这个算法。在Record Protocol协议中,摘要算法是必须的,即数据包都需要有校验码,而签名是可选的。

TLS_RSA_WITH_AES_128_CBC_SHA中密钥交换算法和签名算法使用的是同一个算法RSA,也可以使用不同算法如TLS_ECDHE_RSA_WITH_AES_128_CBC_SHA256 ,密钥交换算法是ECDHE,签名算法是RSA。

Cipher Suite 名称格式如下:

目前所知的Cipher Suite

具体Client和Server支持那些Cipher Suite,需要看具体的Client和Server

Name密钥交换验证算法加密算法散列算法
TLS_ECDHE_RSA_WITH_AES_256_GCM_SHA384ECDHRSAAES_256_GCM256SHA384
TLS_ECDHE_RSA_WITH_AES_256_CBC_SHA384ECDHRSAAES_256_CBC256SHA384
TLS_ECDHE_RSA_WITH_AES_256_CBC_SHAECDHRSAAES_256_CBC256SHA
TLS_DHE_RSA_WITH_AES_256_GCM_SHA384DHRSAAES_256_GCM256SHA384
TLS_DHE_RSA_WITH_AES_256_CBC_SHA256DHRSAAES_256_CBC256SHA256
TLS_DHE_RSA_WITH_AES_256_CBC_SHADHRSAAES_256_CBC256SHA
TLS_RSA_WITH_AES_256_GCM_SHA384RSARSAAES_256_GCM256SHA384
TLS_RSA_WITH_AES_256_CBC_SHA256RSARSAAES_256_CBC256SHA256
TLS_RSA_WITH_AES_256_CBC_SHARSARSAAES_256_CBC256SHA
TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256ECDHRSAAES_128_GCM128SHA256
TLS_ECDHE_RSA_WITH_AES_128_CBC_SHA256ECDHRSAAES_128_CBC128SHA256
TLS_ECDHE_RSA_WITH_AES_128_CBC_SHAECDHRSAAES_128_CBC128SHA
TLS_DHE_RSA_WITH_AES_128_GCM_SHA256DHRSAAES_128_GCM128SHA256
TLS_DHE_RSA_WITH_AES_128_CBC_SHA256DHRSAAES_128_CBC128SHA256
TLS_DHE_RSA_WITH_AES_128_CBC_SHADHRSAAES_128_CBC128SHA
TLS_RSA_WITH_AES_128_GCM_SHA256RSARSAAES_128_GCM128SHA256
TLS_RSA_WITH_AES_128_CBC_SHA256RSARSAAES_128_CBC128SHA256
TLS_RSA_WITH_AES_128_CBC_SHARSARSAAES_128_CBC128SHA
TLS_ECDHE_RSA_WITH_3DES_EDE_CBC_SHAECDHRSA3DES_EDE_CBC168SHA
SSL_DHE_RSA_WITH_3DES_EDE_CBC_SHADHRSA3DES_EDE_CBC168SHA
SSL_RSA_WITH_3DES_EDE_CBC_SHARSARSA3DES_EDE_CBC168SHA
TLS_ECDHE_ECDSA_WITH_AES_256_GCM_SHA384ECDHECDSAAES_256_GCM256SHA384
TLS_ECDHE_ECDSA_WITH_AES_256_CBC_SHA384ECDHECDSAAES_256_CBC256SHA384
TLS_ECDHE_ECDSA_WITH_AES_256_CBC_SHAECDHECDSAAES_256_CBC256SHA
TLS_ECDHE_ECDSA_WITH_AES_128_GCM_SHA256ECDHECDSAAES_128_GCM128SHA256
TLS_ECDHE_ECDSA_WITH_AES_128_CBC_SHA256ECDHECDSAAES_128_CBC128SHA256
TLS_ECDHE_ECDSA_WITH_AES_128_CBC_SHAECDHECDSAAES_128_CBC128SHA
TLS_ECDHE_ECDSA_WITH_3DES_EDE_CBC_SHAECDHECDSA3DES_EDE_CBC168SHA
TLS_AES_256_GCM_SHA384--AES_256_GCM256SHA384
TLS_AES_128_GCM_SHA256--AES_128_GCM128SHA256

上表中使用了术语解释:

  • ECDH - 椭圆曲线 Diffie-Hellman
  • DH - Diffie-Hellman
  • RSA - Rivest, Shamir, Adleman
  • ECDSA - 椭圆曲线数字签名算法
  • AES - 高级加密标准
  • GCM - Galois/计数器模式,密码区块加密的操作模式
  • CBC - 密码块链接
  • 3DES - 三重数据加密算法
  • SHA - 安全散列算法

2、TLS 1.2 Handshake Flow

1.1 Overview

TLS 握手是由客户端和服务器交换的一系列数据报或消息。TLS 握手涉及多个步骤来实现客户端和服务器交换握手和进一步对话所需的信息。

TLS 握手的确切步骤将根据所使用的密钥交换算法的类型以及双方支持的密码套件而有所不同。RSA 密钥交换算法最为常用。具体如下:

+----------+---------------------------------------------+----------+
|          |    1. ClientHollo                           |          |
|          |-------------------------------------------> |          |
|          |                                             |          |         
|          |    2. ServerHello                           |          |
|          |    3. Certificate                           |          |
|          |    4. ServerKeyExchange(optional)           |          |         
|          |    5. CertificateRequest(optional)          |          |
|          |    6. ServerHelloDone                       |          |
|          |<--------------------------------------------|          |
|          |                                             |          |         
|          |    7. Certificate(optional)                 |          |
| Client   |    8. ClientKeyExchange                     |  Server  |
|          |    9. CertificateVerify(optinal)            |          |  
|          |-------------------------------------------->|          |  
|          |                                             |          |   
|          |    10. Finish[ChangeCipherSpec]             |          |
|          |-------------------------------------------->|          |
|          |                                             |          |
|          |    11. Finish[ChangeCipherSpec]             |          |
|          |<--------------------------------------------|          |         
|          |                                             |          |
|          |             Application Data                |          |
|          |<------------------------------------------->|          |
|          |                                             |          |
+----------+---------------------------------------------+----------+
  1. “客户端问候(client hello)” 消息: 客户端通过向服务器发送“问候”消息来开始握手。该消息将包含客户端支持的TLS 版本,支持的密码套件,以及称为一串称为“客户端随机数(client random”的随机字节。
  2. “服务器问候(server hello)”消息: 作为对 client hello 消息的回复,服务器发送一条消息,内含服务器的 SSL 证书、服务器选择的密码套件,以及“服务器随机数(server random)”,即由服务器生成的另一串随机字节,。
  3. 身份验证: 客户端使用颁发该证书的证书颁发机构验证服务器的 SSL 证书。此举确认服务器是其声称的身份,且客户端正在与该域的实际所有者进行交互。
  4. ServerKeyExchange: 若密钥交换算法是 DHE_DSS,DHE_RSA,DH_anon,就会发送这个消息,主要包含密钥交换算法Server的parameters,这样Client才有足够的数据生成“预主密钥(premaster secret)
  5. CertificateRequest: 双向认证中需要发送,想Client请求Client CA证书。
  6. ServerHelloDone: 通知客户端 server_hello 信息发送结束。
  7. Certificate: 若是双向认证,Client发送自己的CA证书,让Server认证
  8. ClientKeyExchange: Client计算产生随机数字预主密钥(premaster secret),并用证书公钥加密,发送给服务器。
  9. CertificateVerify: 这个Message可选的,目前看rfc5246没有看懂具体有什么作用,也没有查到对应的资料。(This message is used to provide explicit verification of a client certificate. This message is only sent following a client certificate that has signing capability (i.e., all certificates except those containing fixed Diffie-Hellman parameters).When sent, it MUST immediately follow the client key exchange message.)
  10. Finish: 握手结束Message

1.2 TLS1.2单向认证流程

(1)ClientHello

客户端发起请求,以明文传输请求信息,包含版本信息,加密套件候选列表,压缩算法候选列表,随机数,扩展字段等信息,相关信息如下:

  • 支持的最高TLS协议版本version,从低到高依次 SSLv2, SSLv3, TLSv1, TLSv1.1, TLSv1.2,TLSv1.3当前基本不再使用低于TLSv1版本
  • 客户端支持的加密套件cipher suites列表, 每个加密套件对应前面 TLS 原理中的四个功能的组合:
    • 认证算法 Authentiaction (身份验证)
    • 密钥交换算法 KeyExchange (密钥协商)
    • 对称加密算法 Encryption (信息加密)
    • 信息摘要 HMac (完整性校验)
  • 支持的压缩算法 compression methods 列表,用于后续的信息压缩传输
  • 随机数random_C,用于后续的密钥的生成
  • 扩展字段extensions,支持协议与算法的相关参数以及其它辅助信息等。
(2)ServerHello + ServerCertificate + ServerHelloDone
  • ServerHello, 服务端返回协商的信息结果,包括选择使用的协议版本version,选择的加密套件 cipher suite,选择的压缩算法 compression method、随机数 random_S 等,其中随机数用于后续的密钥协商
  • ServerCertificate, 服务器端配置对应的CA证书,用于身份验证与密钥交换
  • ServerHelloDone,通知客户端ServerHello信息发送结束
(3)证书校验
  • 证书/证书链的可信性 trusted certificate path,方法如前文所述
  • 证书是否吊销 revocation,有两类方式离线CRL与在线OCSP,不同客户端行为会不同
  • 有效期expiry date,证书是否在有效时间范围
  • 域名domain,核查证书域名是否与当前的访问域名匹配 (CN 字段)

证书校验并不是强制的过程,校验严格或者校验宽松通常都是可以配置的,由校验端来确定。

(4)ClientKeyExchange
  • CA证书合法性验证通过之后,客户端计算产生随机数字pre-master secret(预主密钥),并用证书公钥加密,发送给服务器
  • 此时客户端已经获取全部的计算协商密钥需要的信息:两个明文随机数 random_C 和 random_S 与自己计算产生的 pre-master,计算得到协商密钥enc_key=Fuc(random_C, random_S, pre-master)
(5)ChangeCipherSpec + EncryptedHandshakeMessage
  • ChangeCipherSpec : 客户端通知服务器后续的通信都采用协商的通信密钥和加密算法进行加密通信;
  • EncryptedHandshakeMessage: 结合之前所有通信参数的 hash 值与其它相关信息生成一段数据,采用协商密钥 session secret 与算法进行加密,然后发送给服务器用于数据与握手验证
(6)ChangeCipherSpec + EncryptedHandshakeMessage (From Server)
  • 服务器用私钥解密加密的 pre-master secret,基于之前交换的两个明文随机数 random_C 和 random_S,计算得到协商密钥:enc_key=Fuc(random_C, random_S, pre-master);
  • 计算之前所有接收信息的hash值,然后解密客户端发送的encrypted_handshake_message,验证数据和密钥正确性;
  • ChangeCipherSpec, 验证通过之后,服务器同样发送 ChangeCipherSpec以告知客户端后续的通信都采用协商的密钥与算法进行加密通信;
  • EncryptedHandshakeMessage , 服务器也结合所有当前的通信参数信息生成一段数据并采用协商密钥 session secret 与算法加密并发送到客户端;

1.3 实际 wireshark

TLS Server是180.76.100.74, Client是192.168.72.43. Client需要认证Server的合法性。

我们只看 TLSv1.2 的数据包:

第一包 Client Hello 包,即 SSL/TLS 单向认证流程的 (1)

第二包 Server Hello 包,包含服务器证书等。即 SSL/TLS 单向认证流程的 (2)

第三包 服务器证书验证完成,生成Pre-Master Secret,同时发送 ClientKeyExchange

第四包 ChangeCipherSpec + EncryptedHandshakeMessage 秘钥协商 使用协商密钥发送加密Message to Server

第五包 ChangeCipherSpec + EncryptedHandshakeMessage From Server 使用协商密钥发送加密Message to Client

第六包 握手完成,开始上层加密数据并传输。

1.4 TLS1.2双向认证流程

实际上和单向认证几乎一样,只是在 client 认证完服务器证书后,client 会将自己的证书 client.crt 传给服务器。服务器验证通过后,开始秘钥协商。

3、TLS1.3 HandShake Flow

待续。。。。。。。。。。。。