《大模型的应用和工具》学习笔记
来源：华为培训课件（32 页） 主题：DeepSeek 辅助学习场景应用 + 华为云 OCR 服务 + Dify 生成式 AI 应用创新引擎
一、DeepSeek 在辅助学习场景的应用
- 辅助学习三能力：知识点查询和讲解、制定学习计划、试题详解和错题辅导。
- 拍照解题：通过 OCR 文字识别将图片中的试题转为文本，再交给大模型解析作答。
二、OCR 技术与华为云 OCR 服务
OCR 是什么
- OCR（Optical Character Recognition，光学字符识别）：将图像中的文字转换为可编辑文本的技术，广泛应用于文档数字化等领域。
- 技术优势：高效、准确，大幅提高文字录入效率，降低人工成本。
工作原理
图像 → 图像预处理 → 字符分割 → 字符识别 → 可编辑文本
图像预处理四步
- 灰度化：彩色 → 灰度，减少数据量，保留主要信息。
- 二值化：灰度 → 黑白两色，增强对比度，便于字符分割。
- 去噪：去除椒盐噪声、高斯噪声，提高清晰度。
- 倾斜校正：校正倾斜文字，使文字保持水平，提高准确率。
字符识别四种方法
- 模板匹配：与标准字符模板比对，相似度最高者为结果。
- 神经网络识别：深度神经网络训练大量字符样本，准确率高。
- 支持向量机（SVM）识别：构建超平面分类字符特征，泛化能力强。
- 贝叶斯分类识别：计算字符属于各类别概率，取最大者为结果。
应用场景
文档数字化、电子书制作、纸质文件扫描、档案管理系统、合同文档处理（提取关键信息，自动化审核管理）。
华为云 OCR 服务全景
- 通用类：通用文字、通用表格、网络图片、智能分类、手写文字。
- 票据类：增值税发票、购车发票、出租车发票、火车票、飞机行程单、发票验真等。
- 证件类：身份证、驾驶证/行驶证、护照、银行卡、营业执照等。
- 行业类：物流电子面单、保险单、财务报表、文档比对等。
- 其他：各国证件（缅甸身份证、缅文驾驶证、泰文身份证、泰国车牌等）。
调用流程（四步）
- 登录华为云官网（个人账号 / IAM 登录）。
- 开通文字识别 OCR 服务（通用文字识别）→ 立即使用。
- 获取 AK/SK 密钥。
- 本地 IDE 调用服务：填写 AK/SK，调用 API，查看调用结果。
实践案例：智能拍照解题
输入：图片 → 华为云OCR API调用 → 电子信息化系统 → OCR文字识别 → 解析试题 → 输出：文本
三、Dify 生成式 AI 应用创新引擎
核心特点
- 可视化界面 + 模块化设计：无需深入编码即可构建 AI 应用，降低开发难度。
- 低门槛开发：无编程基础也能创建聊天机器人、知识库系统等复杂应用。
- Prompt IDE：快速设计提示词，便于测试和优化模型性能。
- 支持大多数 LLM：无缝集成数百种开源/闭源模型（GPT、Llama3、Mistral、OpenAI API 兼容模型）。
- 强大的 RAG 能力：支持 PDF、PPT、TXT 等文档；向量化存储（Weaviate 等）实时检索；支持文档分片处理。
Agent 智能助手三要素
- 提示词：编写指令，明确任务目标、工作流程、资源和限制。
- 上下文：添加上下文知识库工具，帮助获取外部背景知识。
- 工具：扩展 LLM 能力（联网搜索、科学计算、绘制图片），连接外部世界。
两类工作流
| 类型 | ChatFlow（对话类） | WorkFlow（任务类） |
|---|---|---|
| 适用场景 | 客户服务、语义搜索等对话场景 | 内容生成、数据分析等自动化批处理 |
| 特点 | 问题理解、上下文记忆、意图识别、标注回复 | 开始节点、LLM 节点、迭代节点、代码节点、条件分支（IF/ELSE）、结束节点 |
- 核心节点：节点是工作流的关键构成，通过连接不同功能的节点，执行工作流的一系列操作。
思考题答案
1.（判断）Dify 中创建 Agent 应用时，上下文是必须的。
- 答案：B（错误）
- 上下文（知识库工具）是可选增强项，不是必须项；核心指令在"提示词"中编写。
记忆要点（一章速记）
- OCR = 光学字符识别，四步预处理：灰度化→二值化→去噪→倾斜校正。
- 字符识别四法：模板匹配、神经网络、SVM、贝叶斯。
- 华为云 OCR 调用流程：登录→开通→拿 AK/SK→IDE 调用。
- Dify 三能力速记：可视化低门槛、Prompt IDE、RAG 支持；Agent 三要素：提示词、上下文、工具。
