7 月 14 日 Jina AI 举办了首次面向中文社区用户的 Office Hours 活动,CTO 王楠带领工程师们分享了 Jina 全家桶的最新产品动态,本文为分享回顾。
没来得及参与本次 Office Hours 的小伙伴,可点击下方视频号,查看回放:
【Show Notes】
00:04 DocArray 更新
01:15 CLIP as service
03:10 Finetuner
03:20 JCloud
04:40 Jina NOW
06:00 DocsQA
07:07 Jina Hub
07:51 Discoart“一行代码的艺术”
DocArray
- 支持向量搜索 + 过滤器
- 支持 MangoDB 的过滤语法
- 从 API 层面去支持了不同的向量索引,如 Elasticsearch,Qdrant 等
详见:*docarray.jina.ai/advanced/do… *
CLIP as service
- 用 Jina 重构了原 BERT as service 的底层代码
- 基于 Helm Chart 便于 kubernetes 的部署,并提供 Grafana 监控
- 提供 SaaS 服务,只需提供数据,由云端完成模型微调
- 基于 Zero-shot learning 的图像推理,可以快速搭建一套自动分类系统\
Finetuner
- 提供 Finetuner SaaS 服务客户端\
\
JCloud
- 生产环境下可用的免费托管服务
- 支持 Grafana 监控
\
Jina NOW
- 支持 JCloud 部署
- 提供更多任务模版,如用音乐搜索音乐
\
DocsQA
- 快速为文档构建问答机器人
- 整理、汇总社区问题,积累社区知识
- 目前已部署在 Jina 全家桶文档网站,与 FastAPI、Kornia 等多个开源项目。
- 现在开放对外公测,打开链接试试看!jina.ai/docsQA-cons…
\
Jina Hub\
- 优化 Sandbox 使用体验
- 自动生成 Executor 的使用代码
\
DiscoArt
-
一行代码的艺术\
-
repo:github.com/jina-ai/dis…**
Q&A
-
CLIP 模型的 Finetuner 方法,以及效果如何答:优化效果如图所示。方法详见:finetuner.jina.ai/tasks/text-…
-
怎么样去对模型进行推断加速,尤其是大模型和生成模型 答:一方面是基于框架,Jina 生态靠 Jina 所提供的分布式框架,支持每个 executor 的服务是异步,非堵塞的,尽可能地从框架的工程角度来增加系统的推送量。
另一方面是基于模型,目前业界采用较多的是使用更高算力。出于成本考虑,也可以做模型的转换,如把 PyTorch 的模型转到 ONNX 格式。模型转化的步骤,原是需要用户自己来完成的。对于目前热门的 CLIP 模型,Jina 已经提前转码好了,就在 CLIP as service 里,用户可以直接使用。并且,我们还采用了 TensorRT 后端用于快速推理。 repo:github.com/jina-ai/cli…
3. Jina 和 Elasticsearch 如何配合使用?
答:在底层数据方面,现在 Jina 支持有不同的存储后端,如 ES,Qdrant,Weaviate 等。可以通过 DocArray 将原生数据直接存入 ES 里,并且支持 ES 的向量搜索。也可以把数据从 ES 导出到 DocArray 里来。 在上层应用:考虑到用户的迁移成本,所以也将支持在 ES 上搭建整套 Jina 全家桶服务,敬请期待。社区用户们希望想要更便捷地使用 ES 里面哪些功能,可以在社区里提建议。在评估建议的可行性后,我们将尽可能地争取把这些功能集成到产品里去。 加入 Jina 全球社区:slack.jina.ai