FFI 库，是 LuaJIT 中最重要的一个扩展库。它允许从纯 Lua 代码调用外部 C 函数，使用 C 数据结构。
zlib压缩数据的demo
// encode
const char* src = "test zlib";
uLong srcLen = strlen(src) + 1;
uLong dstLen = 255;
Bytef dst[255] = { 0 };
int res = compress(dst, &dstLen, (const Bytef*)src, srcLen);
CCLOG("compress data addr: %p", dst); // zlib数据是以78 9c开头
// decode
uLong decodeLen = 255;
char decode[255] = { 0 };
res = uncompress((Bytef*)decode, &decodeLen, dst, dstLen);
CCLOG("decode");
但是我看到ffi-zlib使用的是
int inflate(z_stream*, int flush);
int inflateEnd(z_stream*);
int inflateInit2_(z_stream*, int windowBits, const char* version, int stream_size);
int deflate(z_stream*, int flush);
int deflateEnd(z_stream* );
int deflateInit2_(z_stream*, int level, int method, int windowBits, int memLevel,int strategy, const char *version, int stream_size);
deflate/inflate提供一套基于stream流的操作接口，需要使用者管理较多的状态，但可以实现过程中暂停/恢复操作；
compress/uncompress提供一套基于block块的操作接口，对deflate/inflate的封装，需要用户确保足够内存，一次调用完成操作.
uncompress将内存中数据进行解压，与compress函数一起使用，实现过程中会调用inflate函数，而且需要对inflate函数中的流参数进行初始化。
inflate函数是uncompress实现的一部分，提现的是deflate压缩思想，但是不能直接使用，需要很多参数的配置。
一些概念
- deflate(RFC1951):一种压缩算法，使用LZ77和哈弗曼进行编码；
- zlib(RFC1950):一种格式，是对deflate进行了简单的封装
- gzip(RFC1952):一种格式，也是对deflate进行的封装。
Deflate算法
Deflate 是一种用于数据压缩的算法，它广泛应用于各种领域和技术中。
Deflate 算法基于哈夫曼编码和 LZ77 算法，通过消除数据中的冗余和重复信息来实现高效的压缩。
Deflate 算法的主要步骤包括：
- 压缩：原始数据被分为多个小块，并使用 LZ77 算法找到每个块中的重复片段。这些重复片段由一个指针和长度表示。然后，通过哈夫曼编码将指针和长度进行编码，以减少其表示所需的位数。最终，所有编码的块和额外的压缩信息被组合成一个压缩的数据流。
- 解压缩：解压缩过程与压缩过程相反。首先，被压缩的数据流被解码为压缩块和其他压缩信息。然后，使用哈夫曼解码器解码指针和长度，恢复出重复片段。最后，根据得到的重复片段，使用 LZ77 解压算法重新构建原始数据。
Deflate 算法在很多应用中都有广泛的应用，包括网页传输中的 HTTP 响应压缩、文件压缩格式（如 ZIP）、PNG 图像文件的压缩等。
local function createStream(bufsize)
-- Setup Stream
-- z_stream是C层定义的结构体
-- ffi.new 是用于创建 C 数据类型实例的函数
local stream = ffi_new("z_stream")
-- Create input buffer var
-- ?是占位符，代表数组的大小，+1是为了留出末尾的空字符
local inbuf = ffi_new('char[?]', bufsize+1)
-- ↓待压缩的数据 ↓待压缩数据的长度
stream.next_in, stream.avail_in = inbuf, 0
-- create the output buffer
local outbuf = ffi_new('char[?]', bufsize)
-- ↓压缩后的数据 ↓压缩后的长度
stream.next_out, stream.avail_out = outbuf, 0
return stream, inbuf, outbuf
end
local function initDeflate(stream, options)
-- Setup deflate process
local method = zlib.Z_DEFLATED
local level = options.level or zlib.Z_DEFAULT_COMPRESSION
local memLevel = options.memLevel or 8
local strategy = options.strategy or zlib.Z_DEFAULT_STRATEGY
local windowBits = options.windowBits or (15 + 16) -- +16 sets gzip wrapper not zlib
local version = ffi_str(zlib.zlibVersion())
-- 加载zlib库
local zlib = ffi.load(ffi.os == "Windows" and "zlib1" or "z")
-- 如果成功则返回 `Z_OK`
-- 如果没有足够的内存，则返回 `Z_MEM_ERROR`
-- 如果参数无效（例如无效的方法），则返回 `Z_STREAM_ERROR`
-- 如果 zlib 库版本 （ `zlib_version` ） 与调用方假定的版本 （ `ZLIB_VERSION` ） 不兼容，则返回 `Z_VERSION_ERROR` 。
return zlib.deflateInit2_(
stream, -- 压缩上下文
level, -- 压缩等级
method, -- 压缩方法
windowBits, -- 窗口比特数，此参数的值越大，压缩效果越好，但会牺牲内存使用量
memLevel, -- 压缩过程中对内存的限制
strategy, -- 调整优化压缩算法的细节
version,
ffi_sizeof(stream)
)
end
local DEFAULT_CHUNK = 16384
function _M.deflateGzip(input, output, bufsize, options)
local bufsize = bufsize or DEFAULT_CHUNK
options = options or {}
-- Takes 2 functions that provide plain input data and receives output data
-- Returns gzip compressed string
-- 创建数据流
local stream, inbuf, outbuf = createStream(bufsize)
-- 初始化deflate
local init = initDeflate(stream, options)
if init == Z_OK then
-- 开始真正的压缩
return deflate(input, output, bufsize, stream, inbuf, outbuf)
else
-- Init error 释放stream申请的内存
zlib.deflateEnd(stream)
return false, "INIT: "..zlib_err(init)
end
end
之前的都是准备工作，真正的压缩逻辑在这里
local function deflate(input, output, bufsize, stream, inbuf, outbuf)
local zlib_flate = zlib.deflate -- zlib的压缩函数
local zlib_flateEnd = zlib.deflateEnd
-- Deflate a stream
local err = 0
local mode = Z_NO_FLUSH
repeat
-- Read some input
local data = input(bufsize)
if data ~= nil then
-- copy内存数据，将data复制到inbuf
ffi_copy(inbuf, data)
-- 更新stream的输入数据、源数据长度
stream.next_in, stream.avail_in = inbuf, #data
else
-- EOF, try and finish up
mode = Z_FINISH
stream.avail_in = 0
end
-- While the output buffer is being filled completely just keep going
repeat
stream.next_out = outbuf
stream.avail_out = bufsize
-- Process the stream
-- mode:通常参数 `flush` 设置为 `Z_NO_FLUSH` ，决定在产生输出之前要积累多少数据，以最大化压缩。
err = zlib_flate(stream, mode)
-- Only possible *bad* return value here
if err == Z_STREAM_ERR then
-- Error, clean up and return
zlib_flateEnd(stream)
return false, "DEFLATE: "..zlib_err(err), stream
end
-- Write the data out：将数据输出到output
local err = flushOutput(stream, bufsize, output, outbuf)
if err then
zlib_flateEnd(stream)
return false, "DEFLATE: "..err
end
until stream.avail_out ~= 0
-- In deflate mode all input must be used by this point
if stream.avail_in ~= 0 then
zlib_flateEnd(stream)
return false, "DEFLATE: Input not used"
end
until err == Z_STREAM_END
-- Stream finished, clean up and return
zlib_flateEnd(stream)
return true, zlib_err(err)
end
local function flushOutput(stream, bufsize, output, outbuf)
-- Calculate available output bytes
local out_sz = bufsize - stream.avail_out
local ss = 0
local ss2 = stream.total_in
local ss3 = stream.total_out
if out_sz == 0 then
return
end
-- Read bytes from output buffer and pass to output function
-- output是外边传如的function，ffi_str 将 C 字符串或字节数组转换为 Lua 字符串
local ok, err = output(ffi_str(outbuf, out_sz))
if not ok then
return err
end
end
测试例子
data: 12345671234567
len: 20
1F 8B 08 00 00 00 00 00 00 0B 03 00 00 00 00 00 00 00 00 00
c++的结果是len=18
原因是在input的逻辑里面不要操作数据源。
遇到的新问题，上传到腾讯云后，再下载后无法解压，提示数据错误，估计是下载导致的
