一、背景
关于加快推进互联网协议第六版（IPv6）规模部署和应用工作的通知
到2023年末，基本建成先进自主的 IPv6 技术、产业、设施、应用和安全体系，形成市场驱动、协同互促的良性发展格局。IPv6 活跃用户数达到7亿，物联网 IPv6 连接数达到2亿。移动网络IPv6流量占比达到50% ，城域网IPv6流量占比达到15%。
名称解释
移动网络 IPv6 流量占比（浓度） =（4G 网络IPv6 流量+5G网络IPv6 流量）/（4G 网络总流量+5G 网络总流量）。
测试指标： 互联网应用（APP）IPv6 浓度指在移动终端上使用APP10 分钟内所通过 IPv6 协议承载的网络流量占全部网络流量 - 5 - 的比例，取三次测试的平均值。
IPv4地址： 使用32位正整数表示，需要4字节存储，可以提供约2^32≈4.3x10^9个地址；为了方便记忆采用了点分十进制的标记方式，如114.114.114.114就是一个IPv4地址。
IPv6地址： 采用128位正整数表示，需要16字节存储，可以提供约2^128≈3.4x10^38个地址；采用了冒号十六进制法来表示IPv6地址，它将每个16位的值用十六进制表示，各值之间用冒号分隔，如2001:0DB8:0000:0023:0008:0800:200C:417A就是一个IPv6地址
二、效果展示
这里以 App内 IPv6 浓度检测为例，提高移动网络的 IPv6 浓度，关键是找到App内请求的接口域名中还有哪些还没有支持 IPv6。
该工具的关键点是通过获取抓包数据，通过对抓包数据分析聚合，然后找到走 IPv4 的域名列表，通过该工具生成的最终产物如下：
| 页面 | IPv6流量占比 | IPv4域名列表 |
|---|---|---|
| 京喜特价 | 99.87% | 域名：gold.jd.com，数据大小：1.52kb，占比：0.01% 域名：httpfereport.jd.com，数据大小：0.10kb，占比：0.00% 域名：fd.3.cn，数据大小：-0.00kb，占比：-0.00% 域名：mcard.jd.com，数据大小：6.80kb，占比：0.04% 域名：gia.jd.com，数据大小：0.98kb，占比：0.01% 域名：blackhole-m.m.jd.com，数据大小：1.16kb，占比：0.01% 域名：lbsgwh5.m.jd.com，数据大小：0.09kb，占比：0.00% 域名：cactus.jd.com，数据大小：3.04kb，占比：0.02% 域名：sp-desk.jd.com，数据大小：1.14kb，占比：0.01% 域名：sh.jd.com，数据大小：-0.05kb，占比：-0.00% 域名：im-x.jd.com，数据大小：0.01kb，占比：0.00% 域名：blackhole.m.jd.com，数据大小：1.01kb，占比：0.01% 域名：sdkfp.jd.com，数据大小：3.15kb，占比：0.02% 域名：mllog.jd.com，数据大小：0.22kb，占比：0.00% 域名：aks.jdpay.com，数据大小：0.02kb，占比：0.00% 域名：gs-loc-cn.apple.com，数据大小：0.08kb，占比：0.00% 域名：ccc-x.jd.com，数据大小：0.05kb，占比：0.00% 域名：storage.jd.com，数据大小：-0.00kb，占比：-0.00% 域名：shop-license.jd.com，数据大小：1.39kb，占比：0.01% 域名：rjsb-token-m.jd.com，数据大小：0.52kb，占比：0.00% 域名：daily-redpacket.jd.com，数据大小：1.28kb，占比：0.01% |
有了这一份数据，整个App 的 IPv6 的流量占比及整改方向一目了然。
三、自检工具使用
这里以 京喜特价 App为例来实践演习。
京喜特价（原京东特价版）是京东旗下满足大众消费需求的特价购物平台，以“省出新生活”为价值主张，为百姓提供质优价低的商品，让大家享受实惠购物、赚钱乐趣的同时也体验到京东品质服务。
3.1、环境准备
先保障客户端支持 IPv6 地址，这样才有可能对等连接后台的 IPv6 地址
最差的情况下是：有些公司可能没有 Wi-Fi 支持 IPv6 环境，需要使用 5G 网络进行检测。
硬件要求：
需要准备两台手机（ iPhoneA 支持4/5G网络、iPhoneB 安装好检测的App）、一台 Mac电脑
软件要求：
Mac电脑安装 whistle 抓包环境（其他抓包环境类似）
3.1.1、IPv6 网络检测
iPhoneA 在手机浏览器打开 test-ipv6.com 后，会提示你当前网络是否支持 IPv6 地址，如果同时支持 IPv4/6，正常通讯会优先使用 IPv6，如下图：
3.1.2、测试设备支持 IPv6
iPhoneA 使用 5G 流量开启热点，Mac 电脑和 iPhoneB 都连接到该热点，并且 iPhoneB 代理请求到 Mac 电脑上：
3.1.3、并确保 Mac 电脑和 iPhoneB 都支持 IPv6 环境，Mac 电脑上需要在网络配置 IPv6 为自动：
然后在 Mac 电脑进行测试是否已经支持：
3.2、数据采集及处理
装有 App 的设备 iPhoneB 支持 IPv6 网络环境，具备抓包环境的 Mac电脑就绪后，接下来就是对数据的采集工作。
3.2.1、生产数据
使用 iPhoneB 对目标App进行各种页面进行测试，这里最好是每一个页面及涉及到网络请求的地方都要验证一下，保证数据相对完善，然后导出所有的抓包数据，命名为：native.har
3.2.2、数据整合
# 遍历并分析.har文件
# 遍历当前目录下的所有.har文件（HTTP归档文件，用于记录web浏览器和网站之间的交互）。
# 对每个.har文件进行解析，提取出每个请求的URL、响应状态、传输大小、服务器IP地址等信息。
# 对服务器IP地址进行检查，判断其是IPv4还是IPv6，并计算IPv6数据的大小和总数据大小的比例。
# 对于IPv4的请求，提取出其域名，并计算每个域名的数据大小。
# 将每个文件的页面标题、IPv6数据占比、未支持IPv6的域名信息等数据保存下来。
# 最后，将所有文件的这些数据导出为一个Excel文件。
# 脚本使用方式：
# python3 analysis_ipv6.py --d '/Users/denglibing/Desktop/京喜特价H5页面IPv6验证/priorityPage'
# 或者
# python3 analysis_ipv6.py --directory '/Users/denglibing/Desktop/京喜特价H5页面IPv6验证/priorityPage'
# 生成的数据在传入的路径中，output.xlsx
import argparse
import json
import os
import glob
import ipaddress
# 获取url的domain
from urllib.parse import urlparse
# 导出表格数据
import pandas as pd
from openpyxl import load_workbook
from openpyxl.styles import Alignment
# IPv6占比基线
ipv6_baseline = 1.0
def get_domain(url):
return urlparse(url).netloc
def check_ip_address(ip):
try:
ip_obj = ipaddress.ip_address(ip)
return ip_obj.version == 6
except ValueError:
print("无效的IP地址")
return False
def calculate_sizes(entries):
domains = {}
sizes = 0
ipv6sizes = 0
for entry in entries:
url = entry['request']['url']
response = entry['response']
size = response.get('_transferSize', response.get(
'bodySize', 0) + response.get('headersSize', 0))
if 'serverIPAddress' in entry:
serverIPAddress = entry['serverIPAddress']
if check_ip_address(serverIPAddress):
ipv6sizes += size
else:
domain = get_domain(url)
domains[domain] = domains.get(domain, 0) + size
if size > 0:
sizes += size
return domains, sizes, ipv6sizes
def print_results(domains, sizes, ipv6sizes):
ipv6point = ipv6sizes / sizes * 100
print("IPv6 数据大小：{:.2f}kb".format(ipv6sizes / 1024))
print("总数据大小：{:.2f}kb".format(sizes / 1024))
print("IPv6 数据占比：{:.2f}%".format(ipv6point))
print("⚠️ 未支持IPv6的域名信息：")
ipv4info = ''
for key, value in domains.items():
info = "域名：{}，数据大小：{:.2f}kb，占比：{:.2f}%".format(
key, value / 1024, value / sizes * 100)
ipv4info += info + '\n'
print(info)
print("====================")
print("")
return ipv6point, ipv4info
def analysis_request(entries):
domains, sizes, ipv6sizes = calculate_sizes(entries)
ipv6point, ipv4info = print_results(domains, sizes, ipv6sizes)
results = {}
if ipv6sizes / sizes < ipv6_baseline:
results['ipv6point'] = '{:.2f}%'.format(ipv6point)
results['ipv4list'] = ipv4info
return results
def read_jsonfile(file):
json_data = json.load(file)
log = json_data['log']
pages = log.get('pages', [])
if not pages:
print('har无页面数据')
page_title = "未知页面"
else:
page = pages[0]
page_title = page['title']
print("")
print("加载的页面：", page_title)
entries = log.get('entries', [])
if 'entries' in log:
results = analysis_request(entries)
if results:
results['page'] = page_title
return results
def export_excel(data):
# 创建一个数据字典
# data = {'Name': ['Tom', 'Nick', 'John'],'Age': [20, 21, 19]}
# 将数据字典转换为pandas DataFrame
df = pd.DataFrame(data)
# 将DataFrame导出为Excel文件
df.to_excel(output_file, index=False)
def format_excel():
# 加载Excel文件
wb = load_workbook(output_file)
# 选择要修改的工作表
ws = wb.active
# 设置第一列的宽度为特定值
ws.column_dimensions['A'].width = 40
ws.column_dimensions['B'].width = 15
ws.column_dimensions['C'].width = 80
# 遍历所有单元格，设置其对齐方式为上下居中
for row in ws.iter_rows():
for cell in row:
cell.alignment = Alignment(vertical='center', wrap_text=True)
# 获取C列的所有单元格
# c_column_cells = ws['C']
# for cell in c_column_cells:
# # 设置其对齐方式为自动换行
# cell.alignment = Alignment(wrap_text=True)
# 保存修改后的Excel文件
wb.save(output_file)
def traverse_files(directory):
# 指定当前目录路径
# directory = os.getcwd()
print(directory)
# 指定文件格式
file_format = '*.har'
# 使用glob模块获取匹配的文件路径列表
file_list = glob.glob(os.path.join(directory, file_format))
pages = []
ipv6points = []
ipv4lists = []
# 遍历文件列表
for file_path in file_list:
# 打开文件进行处理
with open(file_path, 'r') as file:
result = read_jsonfile(file)
if result:
pages.append(result['page'])
ipv6points.append(result['ipv6point'])
ipv4lists.append(result['ipv4list'])
if pages:
data = {
'页面': pages,
'IPv6占比': ipv6points,
'IPv4域名列表': ipv4lists
}
export_excel(data)
format_excel()
# 创建一个解析器
parser = argparse.ArgumentParser(description='分析IPv6数据')
# 添加一个命令行参数
parser.add_argument('--directory', type=str, help='要分析的文件的目录')
parser.add_argument('--d', type=str, help='要分析的文件的目录')
# 解析命令行参数
args = parser.parse_args()
directory = os.getcwd()
if args.directory:
directory = args.directory
elif args.d:
directory = args.d
output_file = directory + '/output.xlsx'
# 使用命令行参数
traverse_files(directory)
下载 analysis_ipv6.py 脚本代码（下载失败请直接使用上面的源码），将上一步生产的数据 native.har 建议放在同一个目录下，本文是放在 Desktop/IPv6Data 中：
✗ tree -L 2
.
├── analysis_ipv6.py
├── other
│ ├── native.har
3.2.3、数据分析
在终端执行如下命令，即可得到每一个页面 IPv6 的数据量及占比，未支持 IPv6 的域名数据：
✗ python3 analysis_ipv6.py --d /Users/denglibing/Desktop/IPv6Data/other
/Users/denglibing/Desktop/IPv6Data/other
har无页面数据
IPv6 数据大小：17130.18kb
总数据大小：17152.94kb
IPv6 数据占比：99.87%
⚠️ 未支持IPv6的域名信息：
域名：gold.jd.com，数据大小：1.52kb，占比：0.01%
域名：httpfereport.jd.com，数据大小：0.10kb，占比：0.00%
域名：fd.3.cn，数据大小：-0.00kb，占比：-0.00%
域名：mcard.jd.com，数据大小：6.80kb，占比：0.04%
域名：gia.jd.com，数据大小：0.98kb，占比：0.01%
域名：blackhole-m.m.jd.com，数据大小：1.16kb，占比：0.01%
域名：lbsgwh5.m.jd.com，数据大小：0.09kb，占比：0.00%
域名：cactus.jd.com，数据大小：3.04kb，占比：0.02%
域名：sp-desk.jd.com，数据大小：1.14kb，占比：0.01%
域名：sh.jd.com，数据大小：-0.05kb，占比：-0.00%
域名：im-x.jd.com，数据大小：0.01kb，占比：0.00%
域名：blackhole.m.jd.com，数据大小：1.01kb，占比：0.01%
域名：sdkfp.jd.com，数据大小：3.15kb，占比：0.02%
域名：mllog.jd.com，数据大小：0.22kb，占比：0.00%
域名：aks.jdpay.com，数据大小：0.02kb，占比：0.00%
域名：gs-loc-cn.apple.com，数据大小：0.08kb，占比：0.00%
域名：ccc-x.jd.com，数据大小：0.05kb，占比：0.00%
域名：storage.jd.com，数据大小：-0.00kb，占比：-0.00%
域名：shop-license.jd.com，数据大小：1.39kb，占比：0.01%
域名：rjsb-token-m.jd.com，数据大小：0.52kb，占比：0.00%
域名：daily-redpacket.jd.com，数据大小：1.28kb，占比：0.01%
====================
同时会在 native.har 同一级目录下自动生成表格数据（目录下的 output.xlsx 文件），方便跟进哪些域名还未支持IPv6
✗ tree -L 2
.
├── analysis_ipv6.py
├── other
│ ├── native.har
│ ├── output.xlsx
| 页面 | IPv6占比 | IPv4域名列表 |
|---|---|---|
| 未知页面 | 99.87% | 域名：gold.jd.com，数据大小：1.52kb，占比：0.01% ... ... |
四、其他检测方式
4.1、手机安装抓包软件
推荐在 App Store 搜索【蜻蜓抓包】，根据【蜻蜓抓包】引导安装对应的证书后，开启抓包，然后打开 h5 页面，这里以【特价团】页面举例说明：
该页面中 h5speed.m.jd.com（120.52.148.150即为 IPv4 地址，目前已经支持 IPv6 ） 未支持 IPv6，而 uranus.jd.com (2408:xxxx) 已支持。
说明不仅当前页面域名可能不支持 IPv6 ，页面内部的一些请求不支持 IPv6 的域名也需要一一找出来，然后在公司内部找到负责人推动支持。
该方式优点是简单快速验证有限数量的域名是否支持，缺点在于无法统计整个页面或者整个App的数据，然后有效持续跟进。
当然也可以通过导出 har 文件，然后通过上面的工具分析，得到的数据是一致的。
4.2、Safari调试h5页面分析
前提条件是需要在 iPhone 上安装 debug 包。
这里以 【京喜特价首页】 入口去【特价团】页面举例说明：
4.2.1、 开启调试模式
iPhone 安装 debug 包后，通过 Mac 上 Safri 开启网页检测器（调试模式）：
4.2.2、页面测试采集数据
在【特价团】页面进行浏览5分钟左右，在网页检测器中选择导出命名 pro.jingxi.com-tjt.har 文件：
4.2.3、数据分析
将 pro.jingxi.com-tjt.har 文件和如下脚本 在同一个目录下，然后终端执行脚本会得到下面的数据：
➜ tree -L 2
.
├── analysis_ipv6.py
└── priorityPage
├── pro.jingxi.com-tjt.har
加载的页面： https://pro.jingxi.com/jx/active/2maPuB2FfzqTEmzuebGqrZsjfhLw/index.html?babelChannel=ttt1&un_area=19_1607_4773_62130&sid=fc1430bfb1f06f42118dbf15f94a5adw
IPv6 数据大小：2261.62kb
总数据大小：2262.93kb
IPv6 数据占比：99.94%
⚠️ 未支持IPv6的域名信息：
域名blackhole-m.m.jd.com：数据大小：0.43kb
域名blackhole.m.jd.com：数据大小：0.43kb
域名rjsb-token-m.jd.com：数据大小：0.45kb
====================
并且自动导出 IPv6 浓度低于 90%（脚本中 ipv6_baseline 可以自己控制阈值） 的页面，还有哪些域名走 IPv4 地址的表格（如上表）。
该方式优点是可以聚合统计某一个 h5 页面维度的数据，提供当前 IPv6 的流量占比及整改方向，缺点在于依赖 debug 包环境及对工具的依赖，当然不支持统计原生页面的数据。
