在职前端Leader学习/转行 AI Agent -DAY852026.10.23 13:24:03 学习路线 Coze

2026.10.23 13:24:03

学习路线

Python -> Python数据分析 -> LangChain -> LangGraph -> FastAPI + SQLAIchemy -> 机器学习 -> 深度学习 -> NLP -> Coze -> Dify -> 大模型应用基础 -> 大模型微调 -> 多模态 -> vibeCoding -> Hermes -> Docker

Coze 复习巩固总结

1. 历史人物视频工作流

历史人物视频用工作流，不用对话流。它是功能类应用，要批量处理、多步自动往下走，不需要对话。输入一个人物名字，最后交出剪映草稿 ID。

工作流名称是 hlstroy_person_life，描述是：基于历史人名的名称，生成关于该人物一生简介的视频。开始节点的输入是 input。结束节点返回变量 output，取值是最后一次写入草稿后的 draft_id。

整条线分成四段，前一段的结果交给下一段。内容规划：人物名称、文案、图片提示词、批量出图、图片格式转换。素材与时间线：视频提示词、视频素材、提取链接、预估时长和数量、创建时间线。草稿数据：视频、字幕、标题、背景音乐、音频，再创建草稿。写入剪映：把这四类素材加进同一份草稿，然后结束。

flowchart TB
    start[&#34;开始<br/>输入人物名称&#34;] --> copy[&#34;大模型生成文案<br/>context、title&#34;]
    copy --> img[&#34;大模型生成图片提示词<br/>image_context&#34;]
    img --> pic[&#34;批处理-生成图片<br/>Seedream 3.0&#34;]
    img --> vp[&#34;批处理-生成视频提示词<br/>豆包·1.5·Pro·32k&#34;]
    pic --> keys[&#34;图片格式转换<br/>KEYS&#34;]
    keys --> video[&#34;批处理-生成视频<br/>doubao-seedance-lite&#34;]
    vp --> video
    video --> url[&#34;get_url&#34;]
    url --> links[&#34;objs_to_str_list&#34;]
    url --> est[&#34;预估数量和时长&#34;]
    est --> tl[&#34;timelines<br/>分段 timelines，整段 all_timelines&#34;]
    links --> mats[&#34;video_infos、两份 caption_infos、audio_infos&#34;]
    tl --> mats
    draft[&#34;create_draft<br/>1920×1080&#34;] --> write[&#34;add_videos、两个 add_captions、add_audios&#34;]
    mats --> write
    write --> finish[&#34;结束<br/>output = draft_id&#34;]

文案节点是「大模型生成文案」，模型豆包·1.5·Pro·32k。用户提示词是 {{input}}，输出 JSON：context 是文案，title 是标题，都是 Array<String>。提示词要求按时间顺序写一生，只保留 6 个关键事迹，并给一个短标题。

图片提示词节点是「大模型生成图片提示词」，模型相同。用户提示词是 {{prompt}}，中国历史题材古代写实风格，超高清晰度，强烈对比，细腻质感。输出 image_context，类型 Array<String>。输入数组和输出数组的数量必须一致。画面按故事和年龄来写，出现婴儿时要写出正在啼哭的婴儿。场景强调叙事，不强调冲突。

「批处理-生成图片」的并行数量是 3，次数上限是 100。输入绑定 image_context。体内是图像生成，模型 Seedream 3.0，比例 9:16，宽 576、高 1024，图片水印打开。正向提示词在 {{input}} 后面接同一句中国历史写实风格。输出 output 是 Array<Image>，取图像生成的 data。

图片格式转换是代码节点。images 绑定这批图片的 output，同时读取 beiyong。空图用备用地址填上，再去重、截掉 URL 问号后面的参数。输出 KEYS，类型 Array<String>。

「批处理-生成视频提示词」的并行数量是 2，次数上限是 100。input 来自图片提示词，context 来自文案。体内大模型仍是豆包·1.5·Pro·32k，用户提示词是 {{input}}{{context}}。系统提示词把历史画面改成可以公开播放的说法：暴力换成教学或表演，武器换成模型，最终要达到幼儿园可播放的标准，并且只围绕这个人物的一生。输出收成 Array<String>。

「批处理-生成视频」的并行数量和次数上限同样是 2 和 100。prompt 绑定上一步的提示词，KEYS 绑定图片格式转换的结果。体内是视频生成，模型 doubao-seedance-lite，比例自动匹配，种子值 -1，这个节点要付费。首帧用当前这条的 KEYS，提示词是 {{input}}。批处理输出 Array<Video>。

时间线用剪映小助手，搜索「剪映小助手」，用米核 AI 发布的免费插件。get_url 用批处理模式，从每条视频里取出链接。objs_to_str_list 把对象列表转成字符串列表 infos。代码节点「.预估视频时间及数量」按链接个数得到 num，每段按 5 秒计，duration 的单位是微秒，所以是条数乘 5_000_000。timelines 用 num、duration 和 start=0 造时间线。timelines 按条数把总时长均分，一段画面对一条文案。all_timelines 只有一条，覆盖整段片子。

视频、字幕、标题接 timelines。video_infos 用视频链接。字幕的 caption_infos 用文案的 context。标题的 caption_infos 用文案的 title。背景音乐只有一个地址，用 str_to_list 转成列表，地址是 https://ve-template-0920.oss-cn-shanghai.aliyuncs.com/uploads/1752207976590_oihrjdq8s3f.mp3。audio_infos 接 all_timelines，让这一首跟完整条片子。音乐若接到分段时间线上，只会落在其中一段。

create_draft 只填宽 1080、高 1920，不读文案和视频，可以和上面同时跑。草稿 ID 有了、四份素材也齐了之后，add_videos、两个 add_captions、add_audios 都写进同一个 draft_id，这四次写入互不等待。字幕是江湖体、字号 12、颜色 #ffde00、transform_y 为 -794。标题是江湖体、字号 15、颜色 #ffffff、transform_y 为 1369。两者描边都是 #000000，行间距都是 10。结束节点的 output 取「添加音频」返回的 draft_id。

成片不在工作流里导出。安装剪映专业版（https://www.capcut.cn/）和米核剪映小助手（https://www.miheai.com/#/jianying）。剪映全局设置里的草稿位置，要和小助手里填写的路径一致。把结束节点输出的 ID 贴进小助手，再回剪映草稿里导出。

工作流发布后挂到智能体「历史人物视频生成」。模式是单 Agent（自主规划），模型豆包·1.5·Pro·32k。人设是：基于用户输入的历史人名，生成该人物一生事迹的简介视频。预览输入「康照」时，调用 ts-histroy_person_life-histroy_person_life，回复里给出草稿标识。列表里的工作流名写成 histroy_person_life。

这条案例收成九步：生成文案，根据文案生成图片，基于文案和图片生成视频，获取时间线，制作视频、字幕、标题、音频，生成草稿，把四类素材写入草稿，得到 draft_id，再送进米核剪映小助手。

同一阶段还把「跨境电商答疑助手」发布出去。对话流是 ltcast_kjds_dialog。扣子商店分类是效率工具。微信订阅号要先在 https://mp.weixin.qq.com/ 注册公众号，再到开发者平台复制 AppID，填进发布渠道里的微信订阅号。豆包渠道当时未授权，因为所用插件不能在豆包分享。发布成功后，微信里问「你好。你是谁」会走到打招呼回复，问「跨境电商是什么」会按知识库回答。Coze 这一段收成五块：听懂人话靠提示词，专业靠 RAG，做事靠插件，工作靠工作流，应用靠发布。

Dify 学习

4. windows下安装docker

Dify 是一款开源的大语言模型（LLM）应用开发平台，使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员，也能参与到 AI 应用的定义和数据运营过程中。

本地安装先装 Docker Desktop。下载地址是 docs.docker.com/desktop/set… 。

Windows 上有两种方式：WSL 或者 Hyper-V。Hyper-V 和 WSL 各有优缺点，具体取决于您的配置和使用场景。默认方式是基于 WSL。安装页选「WSL 2 后端，x86_64」。

这一档要求 WSL 2.1.5 或更高版本。Windows 10 64 位要企业版、专业版或教育版 22H2（内部版本 19045）。Windows 11 64 位要企业版、专业版或教育版 23H2（内部版本 22631）或更高版本。系统里要启用 WSL 2。硬件上要有 64 位处理器，带二级地址转换（SLAT），4GB 系统内存，并在 BIOS/UEFI 中启用硬件虚拟化。

启用虚拟机管理程序的路径是：控制面板 → 程序 → 启用或者关闭 Windows 功能。勾上 Virtual Machine Platform 和 Windows Subsystem for Linux。

验证用 Win+R 打开终端，运行 wsl --version。如果未显示版本详细信息，则可能正在使用 WSL 的默认版本。此版本不支持最新功能，必须进行更新。以管理员身份打开 PowerShell 或 Windows 命令提示符，运行 wsl --install 或 wsl --update。系统可能会提示重启计算机。

Docker Desktop 默认安装即可。

5. windows下dify部署应用

镜像磁盘默认在 C 盘，按自己的需求改。Docker Desktop 里打开 Settings → Resources → Advanced。这一页写着当前用的是 WSL 2 后端，内存、CPU 和交换空间的限制由 Windows 管理，也可以写进 .wslconfig。Disk image location 改成 D:\docker_data\DockerDesktopWSL。

不配置镜像就无法下载镜像。打开 Docker Engine，这一次的版本是 v29.2.1。页面提示这段 JSON 可能导致 Docker 无法启动。把下面这份配置贴进去：

{
  "builder": {
    "gc": {
      "defaultKeepStorage": "20GB",
      "enabled": true
    }
  },
  "experimental": false,
  "features": {
    "buildkit": true
  },
  "registry-mirrors": [
    "https://docker.1panelproxy.com",
    "https://2a6bf1988cb6428c877f723ec7530dbc.mirror.swr.myhuaweicloud.com",
    "https://docker.m.daocloud.io",
    "https://hub-mirror.c.163.com",
    "https://mirror.baidubce.com",
    "https://your_preferred_mirror",
    "https://dockerhub.icu",
    "https://docker.registry.cyou",
    "https://docker-cf.registry.cyou",
    "https://dockercf.jsdelivr.fyi",
    "https://docker.jsdelivr.fyi",
    "https://dockertest.jsdelivr.fyi",
    "https://mirror.aliyuncs.com",
    "https://dockerproxy.com",
    "https://mirror.baidubce.com",
    "https://docker.m.daocloud.io",
    "https://docker.nju.edu.cn",
    "https://docker.mirrors.sjtug.sjtu.edu.cn",
    "https://docker.mirrors.ustc.edu.cn",
    "https://mirror.iscas.ac.cn",
    "https://docker.rainbond.cc"
  ]
}

验证时打开 cmd。先看版本，再拉一个测试镜像：

docker --version
docker pull hello-world

克隆 Dify 仓库：

git clone https://github.com/langgenius/dify.git

如果无法 clone，可以在 GitHub 仓库页面点击 Code，选择 Download ZIP，再解压。下载地址是 github.com/langgenius/… 。

进入 dify/docker，把 .env.example 改名为 .env。可以用 rename .env.example .env，也可以复制一份：

cd dify/docker
cp .env.example .env

回到这个 docker 文件夹，在终端里启动：

docker compose up -d

容器起来之后，浏览器打开 http://localhost/signin 。第一次进入要设置管理员账户。管理员拥有最大权限，可用于创建应用和管理 LLM 供应商等。填邮箱、用户名、密码，点设置。密码必须包含字母和数字，且长度不小于 8 位。启动 Dify 社区版之前，要阅读 GitHub 上的开源协议。

管理员账户只在第一次设置。以后再次访问，分两种情况。

Docker Desktop 还开着、容器也还在跑：直接打开 http://localhost/signin ，用已经设好的邮箱和密码登录。

电脑重启过，或者 Docker Desktop 已经退出：先打开 Docker Desktop，等引擎起来。进入 dify/docker，再执行一次 docker compose up -d。容器还在的话，这条命令会把原来的服务拉起来，不会重新安装，也不会再要求设置管理员。然后打开 http://localhost/signin 登录。

6. Ollama安装与应用

本地大模型接入分五步。Step 1 安装 Ollama，它是大模型管理工具。Step 2 下载模型，选择对应模型下载。Step 3 应用模型，在 Ollama 中运行大模型。Step 4 在 Dify 中配置 Ollama，完成 Ollama 供应商配置。Step 5 在 Dify 中测试模型，完成模型在 Dify 中的应用。

第一步，安装 Ollama。Ollama 是一个开源的本地大模型运行框架，用于在本地部署、管理和运行各类开源 LLM 模型。下载地址是 ollama.com/download ，支持 macOS、Linux 和 Windows。页面上有 macOS、Linux、Windows 三个按钮，按自己的系统下载。

第二步，下载模型。打开 Ollama 聊天页面，直接选择需要下载的模型，注意模型大小。搜索框是 find model。列表里能看到 qwen3-coder:30b、qwen3-vl:30b、qwen3-vl:8b、qwen3:30b、qwen3:14b、qwen3:8b、qwen3:4b。建议优先选一个小模型跑起来：在 find model 中输入 qwen2.5:1.5b，下载即可。第一次选择完模型，随便输入一条消息，会自动下载模型。下载过程会显示进度，例如 105 MB / 940 MB（11%）。

第三步，应用模型。模型下载完毕之后，即可在对话框输入消息开启对话，还可以联网操作。输入「你好，你是谁」。界面上会先出现 Thought for a moment，然后给出回复：你好！我是通义千问，由通义实验室研发的超大规模语言模型。我能够帮助你回答问题、创作文字、逻辑推理、编程等，并且可以进行多轮对话，保持上下文连贯。我的训练数据来自于互联网上的大量文本，能够理解和生成多种语言的内容。如果你有任何问题或需要帮助，随时告诉我！这一次对话底部选中的模型是 qwen3:8b。

拓展QA：

之前的 Ollama 安装和使用记在哪？

记在 LangChain 的笔记里。完整的一节在 3_langchain/DAY3/day3.md 的 ### 14. 模型初始化角度3：本地模型的部署与调用。那一节写了 Ollama 的介绍、下载安装、模型下载和 LangChain 调用。安装是打开 ollama.com/download ，下载后在 CMD 里运行 OllamaSetup.exe /DIR=xxx\Ollama，装到 C 盘以外。模型从 ollama.com/search 里选，命令是 ollama run deepseek-r1:1.5b，当时跑的是 deepseek-r1:1.5b。调用有两种：ChatOllama(model="deepseek-r1:1.5b")，以及 init_chat_model(model="deepseek-r1:1.5b", model_provider="ollama")。

同一套内容在 3_langchain/DAY4/day4.md 的复习里又压了一遍，位置是 ## 复习巩固总结 下面 ### 一、LangChain 的 #### 2. Ollama本地部署。3_langchain/DAY2/day2.md 只在 Model 类名单里点到 ChatOllama。