NVLINK
本文为NVIDIA-SMI系列命令详解第十六篇-NVLINK，介绍和演示了nvidia-smi 命令的 nvlink 选项及其附加参数，命令如下：
nvidia-smi nvlink
该命令用于展示系统的 nvlink 信息。
支持的参数列表如下：
[-h | --help]: 展示帮助信息
[-i | --id]: 枚举索引, PCI 总线 ID 或者 UUID.
[-l | --link]: 将命令限制到特定链接。 如果没有此标志，将显示所有链接信息。
[-s | --status]: 显示链接状态（活动/非活动）
[-c | --capabilities]: 显示链接支持的功能。
[-p | --pcibusid]: 显示链接的远程节点 PCI 总线 ID。
[-R | --remotelinkinfo]: 显示链接的远程设备 PCI 总线 ID 和 NvLink ID。
[-sc | --setcontrol]: 不推荐设置计数器控制！
[-gc | --getcontrol]: 不推荐使用计数器控制！
[-g | --getcounters]: 不推荐使用选项 -g 获取计数器。
请改用选项 -gt/--getthroughput。
[-r | --resetcounters]: 不推荐重置计数器！
[-e | --errorcounters]: 显示链接的错误计数器。
[-ec | --crcerrorcounters]: 显示链路的每通道 CRC 错误计数器。
[-re | --reseterrorcounters]: 将所有错误计数器重置为零。
[-gt | --getthroughput]: 显示指定计数器类型的链路吞吐量计数器
参数由表示计数的流量类型的字符串组成：
d：以 KiB 显示 tx 和 rx 数据有效负载
r：如果支持，以 KiB 显示 tx 和 rx 数据有效负载和协议开销
NVLink介绍
NVLink是世界首项高速 GPU 互连技术，与传统的 PCIe 系统解决方案相比，能为多 GPU 系统提供更快速的替代方案。NVLink 技术通过连接两块 NVIDIA® 显卡，能够实现显存和性能扩展1，从而满足最大视觉计算工作负载的需求。
NVLink性能
NVLink规格
| 第二代 | 第三代 | 第四代 | |
|---|---|---|---|
| NVLink 总带宽 | 300GB/s | 600GB/s | 900GB/s |
| 每个 GPU 最大链路数 | 6 | 12 | 18 |
| NVIDIA 架构支持 | NVIDIA Volta™ 架构 | NVIDIA Ampere 架构 | NVIDIA Hopper™ 架构 |
nvidia-smi nvlink各参数详解
-i 指定 GPU 的标识
GPU 设备的自然枚举序号，PCI 总线地址，或者UUID
运行示例
查看 0 号 GPU 的 UUID 值
nvidia-smi nvlink -i 0
可以看到 0 号 GPU 的驱逐状态是 不驱
-l 指定 link 序号，
将命令限制到特定链接。
注意：
如果没有此标志，将显示所有链接信息。
运行示例
修改 0 号 GPU 的 0 号 link 的链接状态
nvidia-smi nvlink -i 0 -l 0 -s
可以看到， 0 号 GPU 的 0 号 link 的链接状态为 25 GB/s。
如果不指定 link 参数执行相同命令
nvidia-smi nvlink -i 0 -s
可以看到，不指定-l参数时，展示 0 ~ 11 号所有的 link 的状态信息。
-s 显示链接状态（活动/非活动）
显示链接状态（活动/非活动）。
运行示例
查询 1 号 GPU 的 link 状态
执行
nvidia-smi nvlink -i 1 -s
看到 1 号 GPU 的 0 ~ 11 号所有的 link 的状态信息均为 25 GB/s。
-c 显示 链接 支持的能力列表
显示链接支持的功能
运行示例
显示 0 号 GPU 设备的 1 号 link 支持的能力列表
执行
nvidia-smi nvlink -i 0 -l 1 -c
可以看到，0 号 GPU 的 1 号 link 支持的能力列表如下：
-
支持P2P
-
支持访问系统内存
-
支持 P2P 原子能力
-
支持系统内存原子能力
-
支持 SLI
-
不支持 Link
-p 显示链接的远程节点 PCI 总线 ID
显示链接的远程节点 PCI 总线 ID
运行示例
显示 0 号 GPU 的 0 号链接的远程节点 PCI 总线 ID
nvidia-smi nvlink -i 0 -l 0 -p
可以看到， 0 号 GPU 的 0 号链接的远程节点 PCI 总线 ID 为0000:6D:04.0。
再执行 lspci | grep -i 6D:04命令，可以看到该设备是NV Bridge。
-R 显示链接的远程设备 PCI 总线 ID 和 NvLink ID
显示链接的远程设备 PCI 总线 ID 和 NvLink ID
运行示例
显示 0 号 GPU 的 0 号链接的远程设备 PCI 总线 ID 和 NvLink ID
nvidia-smi nvlink -i 0 -l 0 -R
可以看到， 0 号 GPU 的 0 号链接的远程节点 PCI 总线 ID 为0000:6D:04.0,NvLink ID 为 34。
-sc 不推荐设置计数器控制
此功能已弃用，执行
nvidia-smi nvlink -sc 0
将返回警告，说明此功能已废弃。
-gc 不推荐使用计数器控制
此功能已弃用，执行
nvidia-smi nvlink -gc 0
将返回警告，说明此功能已废弃。
-g 不推荐使用选项 -g 获取计数器。
此功能已弃用，执行
nvidia-smi nvlink -g 0
将返回警告，说明此功能已废弃。
请使用 -gt 选项替代。
-r 不推荐重置计数器
此功能已弃用，执行
nvidia-smi nvlink -r 0
将返回警告，说明此功能已废弃。
-e 显示链接的错误计数器
显示链接的错误计数器
运行示例
显示 0 号 GPU 设备的 1 号 link 的错误计数器
执行
nvidia-smi nvlink -i 0 -l 1 -e
可以看到，0 号 GPU 的 1 号 link 错误计数器信息如下：
-
0 重放错误
-
0 恢复错误
-
0 CRC错误
-
通道0~3 CRC 错误计数器为 0 （溢出 0）
-ec 显示链路的每通道 CRC 错误计数器
显示链路的每通道 CRC 错误计数器
运行示例
显示 0 号 GPU 设备的 1 号 链路 的 每通道 CRC 错误计数器
执行
nvidia-smi nvlink -i 0 -l 1 -ec
可以看到，0 号 GPU 的 1 号 链路的 通道0~3 CRC 错误计数器为 0 （溢出 0）
-re 将所有错误计数器重置为零
将所有错误计数器重置为零
运行示例
显示 0 号 GPU 设备的 1 号 链路 的 所有错误计数器重置为零
执行
nvidia-smi nvlink -i 0 -l 1 -re
可以看到，0 号 GPU 的 1 号 链路的错误计数器已经重置为零
-gt 显示指定计数器类型的链路吞吐量计数器
显示指定计数器类型的链路吞吐量计数器 参数由表示计数的流量类型的字符串组成：
-
d：以 KiB 显示 tx 和 rx 数据有效负载
-
r：如果支持，以 KiB 显示 tx 和 rx 数据有效负载和协议开销
运行示例
显示 0 号 GPU 设备的所有 链路 的 吞吐量计数器的数据有效载荷
执行
nvidia-smi nvlink -i 0 -gt d
可以看到，0 号 GPU 的 0~11 号 链路 的
-
发送 数据有效载荷均在 11378335576 KiB 左右
-
接收 数据有效载荷均在 10397577348 KiB 左右
显示 0 号 GPU 设备的所有 链路 的 吞吐量计数器的 原始数据（包含有效载荷和协议开销）
执行
nvidia-smi nvlink -i 0 -gt r
可以看到，0 号 GPU 的 0~11 号 链路 的
-
发送 数据有效载荷 + 协议开销 均在 20060529462 KiB 左右
-
接收 数据有效载荷 + 协议开销 均在 20027235760 KiB 左右
-h 打印帮助信息
运行示例
展示 nvidia-smi nvlink 的帮助信息
nvidia-smi nvlink -h
对应内容如下：
nvidia-smi nvlink -h
nvlink -- Display NvLink information.
Usage: nvidia-smi nvlink [options]
Options include:
[-h | --help]: Display help information
[-i | --id]: Enumeration index, PCI bus ID or UUID.
[-l | --link]: Limit a command to a specific link. Without this flag, all link information is displayed.
[-s | --status]: Display link state (active/inactive).
[-c | --capabilities]: Display link capabilities.
[-p | --pcibusid]: Display remote node PCI bus ID for a link.
[-R | --remotelinkinfo]: Display remote device PCI bus ID and NvLink ID for a link.
[-sc | --setcontrol]: Setting counter control is deprecated!
[-gc | --getcontrol]: Getting counter control is deprecated!
[-g | --getcounters]: Getting counters using option -g is deprecated.
Please use option -gt/--getthroughput instead.
[-r | --resetcounters]: Resetting counters is deprecated!
[-e | --errorcounters]: Display error counters for a link.
[-ec | --crcerrorcounters]: Display per-lane CRC error counters for a link.
[-re | --reseterrorcounters]: Reset all error counters to zero.
[-gt | --getthroughput]: Display link throughput counters for specified counter type
The arguments consist of character string representing the type of traffic counted:
d: Display tx and rx data payload in KiB
r: Display tx and rx data payload and protocol overhead in KiB if supported
