ZENVIS 产品解读 · 04
数据不进库,看板永远是空的
从空检索页到一条可运行的推送链路
上一期结束时,检索页已经有实体、字段、筛选和结果表,但打开仍是空的。很多人第一反应是查配置:字段是不是漏了,接口是不是没生效。真正的原因往往更简单——表里没有数据。
Meta 元数据描述解决的是「数据长什么样、怎么查」,它定义实体、属性、操作符和 ClickHouse 表结构,却不负责把数据送进来。没有写入,结构再完整,检索也只能返回零条。
所以这一期要补的不是界面,而是链路:让外部事件按约定的结构落进目标表,也让系统数据能够被送到外部平台。负责这件事的组件是 Vectum。
01|空检索页,问题不在检索
检索页只是链路的末端。它把已经存在的数据翻译成结果表、筛选项和趋势图,却不会凭空创造一行记录。
这也是配置驱动最容易产生的误解:Meta 发布成功、接口正常、页面也能打开,看起来每一环都完成了,但数据从未抵达。此时继续改字段或调筛选,只是在修饰空结果。
把问题往前推,链路分成两段:一段定义目标,告诉平台数据要落在哪张表、有哪些列;另一段负责搬运,把真实事件按这份定义写进去。前者是上一期讲过的 Meta,后者就是推送任务。
两段接上之后,检索页才会从「结构就绪」变成「数据可用」;后面的聚合、趋势和看板,也都建立在这批真实数据上。
02|Vectum:一条双向的数据链路
Vectum 是 ZenVis 的数据推送服务。它把一条数据链路拆成可配置的推送任务,同一个任务框架支持两个方向。
上行是接入:业务库、日志、HTTP 上报或消息队列产生事件,推送任务把它们接进来,经过可选的清洗转换,再写入 Meta 声明的 ClickHouse 表。数据落库后,全局检索立即可查。
下行是输出:ClickHouse 表、检索结果或系统接口作为数据来源,推送任务把数据发往第三方平台的 HTTP 接口、搜索库、对象存储或其他目标。方向相反,配置模型不变。
这里有一个容易被过度设计的点:Kafka 只是可选的接入端或输出端,不是必经节点。链路是否需要消息队列,由数据源和目标端决定。
每个推送任务独立管理一个数据进程,配置、日志和工作空间彼此隔离。排查一个任务时,不会把另一个任务的日志搅在一起。管理入口有三个:Web UI、REST 和 MCP,分别对应人工操作、系统集成和智能体调用。
03|三段配置:接入、转换、输出
一条推送任务的配置只有三段:sources、transforms、sinks。
sources接入:从外部系统产生事件,是链路的起点,因此不声明上游inputs。transforms转换:可选环节,用inputs指向上一段,完成解析、改写、过滤或路由。sinks输出:链路终点,必须用inputs指回上一段,把事件写到 ClickHouse、HTTP 接口、Kafka 或对象存储。
三段靠 inputs 首尾相接,引用关系就是数据流。接入块产生事件,转换块清洗事件,输出块把事件送出去;转换可省略,接入和输出不能少。
配置文件支持 JSON、YAML 和 TOML,三种格式表达同一套结构,通常按扩展名识别。示例任务把 demo_logs 产生的事件交给 parse_json 解析,再写入 ClickHouse 的 msg_user_event 表;读配置就能还原数据路径。
落地通常分五步:选择已发布的 Meta,确认目标表结构;按统一格式编写配置;先校验引用和必填项;创建任务并启动;最后检查状态与日志。顺序不能倒,尤其不要把未校验的配置直接推进运行环境。
04|手动创建:从空任务到数据出现
手动路径从「服务管理」开始。
- 打开服务管理,进入「数据推送服务」。
- 点击「新建任务」,打开创建弹窗。
- 填写名称「用户事件数据推送」,描述写「用户事件数据推送(演示数据)」。
- 粘贴完整的三段配置,确认
sources、transforms、sinks的引用闭合。 - 点击确认保存,再回到服务列表启动任务。
名称和描述是给人看的,配置是给系统执行的。名称让任务在列表里可识别,描述解释链路做什么,配置决定数据从哪里来、经过什么处理、最终写到哪里。
创建和启动是两个动作。保存只生成任务与配置文件,启动才会拉起独立进程。这个分界很重要:配置没检查完,就不该让它开始消费数据。
图 04 左侧是新建弹窗,右侧是配置与启动确认。弹窗里只有名称、描述和配置三个输入项,没有额外的建表步骤;表结构已由 Meta 定义,推送任务只负责按结构写入。
05|手动运行:日志、状态与检索验证
点击启动后,系统先弹出确认框,询问是否确认启动。确认之后,任务才真正进入运行状态。
回到服务列表,可以看到「用户事件数据推送」显示为运行中,进程号为 32544。这个进程号是任务确实被拉起的直接证据。每个任务对应自己的进程,配置、日志和工作空间也随之隔离。
再打开控制台日志,第一行出现 Vectum run ... started ...,说明进程已经进入启动流程;后续如果出现配置错误、连接失败或写入异常,也会落在同一处。排查时先看状态,再看日志。
最后回到全局检索。用户事件实体下出现 3 条记录:两条 delete,一条 view,可信度分别为 3.48、9.89 和 3.58。数据已经写进 ClickHouse,聚合和趋势才有内容可读。
图 05 把这几步放在同一页:上方是启动日志与运行信息,中间是服务列表的状态和进程号,下方是全局检索的三条结果与分页条。三者同时成立,才算完成可验证的运行。
06|智能体创建:起草自动化,审批留给人
智能体走的是另一条路径:不手写配置,而是把需求说清楚。
例如输入「请基于已发布且只读的 user_event.json Meta 创建用户事件数据推送服务,每隔五秒生成一个 demo 数据」。它会先读取 Meta,确认实体和字段;再设计源数据生成与输出映射,生成完整 YAML;调用 push_task_validate_config 校验并修复,直到通过。界面显示 4/4 个步骤完成。
真正创建并启动时,工具 push_task_create_and_start 会停在人工审批。可以允许本次、本会话或本任务,也可以拒绝。审批通过后才返回结果:taskId 为 3,状态为 running,同时带 runId 和日志摘要。
回到服务列表,任务显示运行中。这说明智能体交付的不是草稿,而是一条已经生效的链路。它的边界也很清楚:对 Meta 只读校验,只在配置框架内起草和修改,不越过结构定义。
图 06 的四格分别对应规划执行、审批节点、返回结果和服务列表。最值得记住的是第二格:高风险动作没有藏在自动化里,而是明确停在人面前。
07|写在最后
回到开头:数据不进库,看板永远是空的。
Meta 定义结构,推送任务搬运数据,配置约束质量。三者接上,检索页才会从零条变成可查询的结果。
手动创建适合需要精确控制的场景;智能体适合快速起草,但关键动作仍停在人工审批。两条路径最后都落到同一份三段配置和同一个独立进程上,区别只在谁来写、谁来确认。
数据已经有了,下一步是把它变成业务每天看得懂的东西:检索即图表、可视化应用和数据看板。

项目官网
zenvis.coolxer.com
开源协议
Apache-2.0