获得徽章 0
赞了这篇文章
Dockerfile 里的 FROM、RUN 只是表象，底层其实是 BuildKit 在跑 DAG。🕸️
最近深挖了一下 Docker 构建原理，把这些关系理顺了：
Layer 是增量包，Snapshot 是文件系统视图。
OverlayFS 负责通过 lowerdir 和 upperdir 动态拼接视图。
BuildKit 不是顺序执行，而是根据依赖图并行调度。
搞懂这些，优化镜像体积和缓存命中率才算真正入门。
#Docker #云原生 #后端
最近深挖了一下 Docker 构建原理，把这些关系理顺了：
Layer 是增量包，Snapshot 是文件系统视图。
OverlayFS 负责通过 lowerdir 和 upperdir 动态拼接视图。
BuildKit 不是顺序执行，而是根据依赖图并行调度。
搞懂这些，优化镜像体积和缓存命中率才算真正入门。
#Docker #云原生 #后端
展开
评论
点赞
赞了这篇沸点
赞了这篇文章
赞了这篇文章
赞了这篇沸点
赞了这篇文章
赞了这篇文章
赞了这篇文章
赞了这篇文章
赞了这篇文章
赞了这篇文章
终于把 RAG 插件 Lumina 的异步上传能力跑通了，长舒一口气！😮💨
之前同步解析大 PDF 总是让前端转圈圈，甚至连接超时。今天终于完成了“异步流水线”的改造，虽然是个个人项目，但该有的工程范儿不能少：
解耦大法好：用 FastAPI + Celery + Redis 做了任务分发。文件往 MinIO 一扔直接给前端回“收到”，剩下的解析、切片、向量化全丢到后台慢慢磨。
SHA-256 查重：上传前先算文件指纹。如果库里已经有这个 SHA-256 且解析成功，直接“秒传”关联，省下不少 Embedding 的算力和 Qdrant 的空间。
状态实时可见：为了不让用户对着黑盒发呆，用 WebSocket 做了实时进度推送。看着“解析中”变“成功”的那一秒，强迫症表示极度舒适。
异构联动：配合之前写的 Go 爬虫（Colly + go-readability），现在不管是本地文档还是网页 URL，都能稳稳地收进向量库。
边踩坑边学，欢迎大佬们来 GitHub 拍砖指点，或者一起交流 RAG 落地的心得！
GitHub: 
github.com
之前同步解析大 PDF 总是让前端转圈圈，甚至连接超时。今天终于完成了“异步流水线”的改造，虽然是个个人项目，但该有的工程范儿不能少：
解耦大法好：用 FastAPI + Celery + Redis 做了任务分发。文件往 MinIO 一扔直接给前端回“收到”，剩下的解析、切片、向量化全丢到后台慢慢磨。
SHA-256 查重：上传前先算文件指纹。如果库里已经有这个 SHA-256 且解析成功，直接“秒传”关联，省下不少 Embedding 的算力和 Qdrant 的空间。
状态实时可见：为了不让用户对着黑盒发呆，用 WebSocket 做了实时进度推送。看着“解析中”变“成功”的那一秒，强迫症表示极度舒适。
异构联动：配合之前写的 Go 爬虫（Colly + go-readability），现在不管是本地文档还是网页 URL，都能稳稳地收进向量库。
边踩坑边学，欢迎大佬们来 GitHub 拍砖指点，或者一起交流 RAG 落地的心得！
GitHub: 
github.com
展开
评论
4