权重

99 阅读1分钟

fp16:

1个fp16数据占据两个字节,其中1位符号位,5位指数位,10位有效精度。

数据范围 6x10^-8 - 65504

量化:

参数量化是指用较低位宽表示 32 位浮点网络参数

显著减少参数存储空间与内存占用空间

能够加快运算速度,降低设备能耗

训练 量化 量化后再验证精度,然后导出模型,导出计算的中间数据。

权重是通过$readmemh将txt文件中的数据,加载verilog中的多维数组中。多维数组维度为

parameter DATA_WIDTH = 32;

parameter INPUT_NODES = 100;

parameter OUTPUT_NODES = 32;

localparam TOTAL_WEIGHT_SIZE = INPUT_NODES * OUTPUT_NODES;

reg [DATA_WIDTH-1:0] memory [0:TOTAL_WEIGHT_SIZE-1];

对于第一个全连接层来说,120个输入节点,84个输出节点。

对于第二个全连接层来说,84个输入节点,120个输出节点。