作为长期深耕 DolphinDB 与 DuckDB 两大极速数据引擎的技术实践者,Boye 对二者的能力边界有着清晰判断: DolphinDB 的流批一体、原生分布式架构、顶尖时序处理性能;DuckDB 的本地嵌入式分析、强大复杂 SQL 支持、直读文件能力,让轻量化探索高效便捷。
两大引擎之间始终缺少一条原生、高效、无损耗的互通通道,数据流转繁琐、精度易丢失、分析链路被反复拉长。
能不能做一个轻量稳定的插件,让这两套顶尖能力真正协同、发挥 1+1>2 的价值?
基于这一需求痛点,Boye 从底层入手,打造了一个轻量、稳定、高性能的 DolphinDB DuckDB 插件。目前,该插件已正式登陆 DolphinDB 插件市场,为跨引擎数据交互提供了一站式原生解决方案。
一、缘起:5 年 DolphinDB 实战,被一个 “跨引擎痛点” 逼出的创新
过去 5 年,Boye 始终扎根金融行情实时计算场景,用 DolphinDB 完成行情数据的采集、清洗、聚合与分析。他深度认可 DolphinDB 的核心优势,也清楚它在某些复杂 SQL、本地文件直读等场景的局限。
长期以来,他同时依赖两大引擎:
•DolphinDB:承载海量时序数据与实时流计算,适合生产级核心任务;
•DuckDB:擅长本地快速探索与复杂查询,适合离线分析。
但两大引擎之间没有原生互通通道—— 数据流转只能靠 Python 胶水代码或CSV 中转,由此带来一连串影响效率与精度的问题:
•大数据量下 Python 内存溢出、CSV 导入导出缓慢;
•Parquet/JSON 文件必须先转格式再入库,链路冗长;
•纳秒级时间戳精度截断、数据类型对齐错误频发;
•分析结果来回导出,严重拖慢量化投研效率。
“每天都在和低效数据搬运较劲,明明两大引擎各有所长,却被一堵墙隔开。” 这个高频刚需痛点,让 Boye 下定决心:做一款原生插件,彻底打通 DolphinDB 与 DuckDB。
二、破局:一款插件,解决三大核心痛点,重构数据交互体验
历经多次调试优化,Boye 的 DuckDB 插件正式上线,定位为 DolphinDB 本地高性能嵌入式 SQL 分析插件,用极简方式实现两大引擎无缝协同。
插件核心价值,直击用户刚需
1.告别胶水代码,原生双向互通无需 Python 中转,直接在 DolphinDB 脚本内通过 connect/query/append 接口操作 DuckDB,一行代码实现双向数据读写,学习成本近乎为零。
2.SQL 方言互补,零成本复用现有脚本把嵌套窗口函数、递归 CTE、复杂子查询交给 DuckDB 做 “外部算子”,不占 DolphinDB 核心资源,提升集群稳定性。团队已有的 DuckDB/PostgreSQL 分析脚本无需改写,直接执行并联动 DolphinDB 数据。
3.多格式文件直读直读,零 ETL 入库依托 DuckDB 的文件读取生态,SQL 直接查询本地或远程文件(Parquet、CSV、JSON 、S3等),自动映射写入 DolphinDB 分布式表,缩短数据链路,提升处理效率。
谁能用?这些场景直接提速
•量化研究员:Parquet 行情文件快速入库,本地探索后一键导入回测;
•数据工程师:异构数据源统一接入 DolphinDB 数仓;
•分析师:大规模计算结果导出 DuckDB,本地深度分析;
•架构师:构建 DolphinDB+DuckDB 混合架构,冷热数据分层处理。
三、匠心:从踩坑到突破,一位独立开发者的坚守与成就
开发过程中,数据类型精准映射是最大挑战 —— 尤其是纳秒时间戳的精度保留,稍有不慎就会出现截断误差,影响金融数据准确性。
Boye 沉下心反复调试,最终实现全数据类型自动对齐,包括高精度时间戳,彻底解决类型不兼容问题。当第一笔数据无损耗跨引擎流转时,他知道:这个困扰无数开发者的痛点,终于被攻克了。
谈及 DolphinDB 的开发者友好度,他深有感触:
•官方提供完整的插件开发文档与开放接口,大幅降低入门门槛;
•插件以动态库方式加载,不用修改系统内核,升级和维护都很独立,不会影响主系统稳定;
•官方 + 社区响应及时,技术难题快速解决,少走大量弯路。
四、心声:写给所有犹豫的开发者 —— 小插件,也能成就大生态
作为生态共建者,Boye 最认可 DolphinDB 三点:
1.技术架构硬核:流批一体、原生分布式架构,精准适配时序数据场景;
2.技术支持到位:官方文档详尽,团队专业响应快;
3.社区氛围良性:开发者互助共享,共建共赢。
他想对所有开发者说:
大胆尝试,从实际需求出发。
无论你是独立开发者还是企业开发者,只要使用中发现痛点、有优化想法,就可以动手开发。DolphinDB 插件开发门槛低、支持完善,每一个小插件都能为生态添砖加瓦,既能提升自身技术能力,也能实现价值变现与行业影响力积累。
五、未来:持续迭代,让 DolphinDB 生态更开放、更强大
Boye 已规划好后续方向:
•持续迭代 DuckDB 插件,优化性能、支持更多数据格式、完善 SQL 兼容;
•开发新插件,打通 DolphinDB 与更多常用数据工具,构建更完善的互通生态;
•用更多实用工具,让开发者专注数据分析与业务创新,而非数据搬运。
写在最后
Boye 的故事,是从用户到开发者的蜕变,也是 DolphinDB 生态活力的缩影。
•如果你是数据分析师 / 量化研究员 / 工程师,快去插件市场体验 DuckDB 插件,告别低效数据交互,让分析更高效;
•如果你是开发者,点击 marketplace.dolphindb.cn/developer-h… 查阅开发者手册,别让想法停留在脑海,DolphinDB 插件市场欢迎每一位创造者,你的小创新,可能成为千万用户的刚需工具。
生态共建,等你来!