range 内核端口数据转发模块

275 阅读3分钟

NGINX 向云原生演进,All in OpenNJet 


range 端口转发模块

1.1 需求

在很多时候,比如流量劫持、ftp被动模式代理等功能需要能够支持流量端口转发。比如需要将10000到11000端口范围的所有流量都统一转到12000端口上,然后在12000端口上接收所有的报文进行后续处理。

1.2 依赖

该功能的实现依赖于iptables,如果通过rpm包安装,则自动为privilege进程为root启动

如果是普通用户启动,需要对opennjet设置setuid权限

setcap cap_setuid=eip /home/njet/sbin/njet

1.3 指令设计

image.png

参数说明:

image.png

配置示例(tcp为例):

  • 将发往本机端口为11000到12000范围的数据,转发到13000端口:

range type=tcp src_ports=11000:12000  dst_port=13000

  • 将发往本机端口为11000,转发到13000端口:

range type=tcp src_ports=11000  dst_port=13000

  • 设置iptables path为/usr/sbin/iptables

range iptables_path=/usr/sbin/iptables;

1.4 实现方案

本功能的实现借助于iptables规则,通过range指令解析参数,然后生成对应的iptables规则下发。

range指令支持配置多条规则

模块init的时候会根据规则生成iptables规则

模块exit的时候会将规则进行删除

所有的规则都会放到自定义iptables链 OpenNJet上

1.5 测试

1.5.1 配置示例

njet.conf 配置里配置两条range指令

image.png

1.5.2 测试结果

启动OpenNJet

查询系统iptables 规则:

启动OpenNJet

重新查询iptables规则,发现两条规则生效

reload重启后

重新查询,发现两条规则还在

停止OpenNJet

重新查询,两条规则删除

2. 命令式 API 动态配置端口转发规则

2.1 需求:

能够通过api接口查询全量的range 配置规则

能够通过api增加或者删除一条range配置规则

根据type、src_ports、dst_port三个字段来确定一条规则

2.2 配置

ctrl控制面配置:

image.png

njet.conf配置

image.png

2.3 动态API

查询:

GET  http://192.168.40.136:8081/range

image.png

PUT  http://192.168.40.136:8081/range

image.png

image.png

return:

image.png

错误码

codemsg描述
0success成功
2-内存分配失败相关的一些错误信息
4rule is not found删除一个不存在的规则
4rule has exist添加一个已经存在的规则
4其他错误

2.4 swagger访问

可以通过doc模块提供的swagger界面操作

http://192.168.40.136:8081/doc/swagger/

2.5 测试

通过swagger页面进行api测试

初始状态get 查询配置

查询iptables

通过swagger页面添加一个规则

再次 查询配置和iptables

reload后再次查询,动态添加的配置和iptables都存在刚才动态添加的配置

Stop OpenNJet后,iptables规则消失

OpenNJet 最早是基于 NGINX1.19 基础 fork 并独立演进,具有高性能、稳定、易扩展的特点,同时也解决了 NGINX 长期存在的难于动态配置、管理功能影响业务等问题。 邮件组 官网