关于gpt的thinking时长两天半（含低代码、AI相关应用的实现原理）

Kuroo
1,332 阅读7分钟

Part 1 — 背景

背景 — GPT是什么？

由来：

生成式预训练：与一种叫做变形器Transformer的模型结构相结合，就成了 Generative Pre-trained Transformer，取三个字母缩写，就是 GPT。

AI相关的产品：

  • chatgpt
  • DALL·E 2：openai.com/dall-e-2/ 这是一款图像AI，主要功能有“根据文案绘画”、“无限拓展图像的边界”...
  • CodeX：openai.com/blog/openai… 这是一款自然语言转化成代码的AI产品，它就是之前比较火的微软的GitHub Copilot的驱动模型。
  • Midjourney

时间线：

Part 2 — 注册、使用

账号注册：

使用方式：

  • OpenAI Playground：

支持的一些模型：

V3.5与V4之间的差异

  • GPT-4 比其前身 GPT-3.5 先进 10 倍，更准确和连贯的响应；
  • Token限制：GPT-4 的最大令牌限制为 32,000 个，GPT-3.5 的为4,000 个令牌；
  • GPT-4能处理方言；
  • GPT-4的编程能力
    • 生成代码
    • 解决error
    • 优化代码
  • 综合来自多个来源的信息来回答复杂的问题，提供更全面、更细致的答案；
  • 可以生成具有更高连贯性和创造力的故事、诗歌或散文；
  • 解决复杂数学和科学问题的强大能力。

API接入

国内、国外模型：

Part 3 - 应用、案例介绍

Openai fine-turn 和 embedding介绍；

  • fine-turn：丢大量样例数据微调；
  • embedding：建立索引，类似贴纸条，提示大语言模型做进一步处理；

链接：

知识库

使用LLM去实现领域/专业的知识库、机器人等应用，相关链接如下：

目前社区实现方案：

  • 基于向量数据库与GPT3.5的通用本地知识库方案

一些思考：文档搜索的未来

  1. 自然语言，不需要各种关键字反复试;
  2. 没有语言障碍，中文输入也可以搜索到英文结果;
  3. 可以帮助甚至直接生成代码;
  4. 能根据错误信息帮助debug。

一些思考：发展方向

  • 横向扩展更大的知识库，更多的信息；
  • 缓存查询；
  • 用户体验改进。

编程相关

  • 编程助手：assistant.compsmatic.com/
  • 基础Prompt：Act as a senior developer, write very short comment for the following code：
  • 编程场景：

    • 通用：https://juejin.cn/post/7199607659992907832#heading-32

      • 技术实现Cover不住、获取技术方案
      • 代码生成、代码优化
      • 在github上找demo、找实现
      • 提供测试用例
      • 读源码
      • 工具辅助

    • AI to 页面 github.com/zckly/dynam…

      • 无限滚动列表
      • 图片feed流
      • 网站

    • gpt4编程（py爬虫）：gist.github.com/hqman/62cdb…

  • 插件、开发环境
    • Copilot X（waitlist）: mp.weixin.qq.com/s/BAzOuxjUo…
    • Cursor：www.cursor.so/
      • Cursor是接入的GPT-4
      • Cursor能支持整个代码文件，它可以理解整个代码（长度限制肯定还是有的）
      • Cursor接入了ChatGPT，你可以针对当前代码去提问去debug，这在运行时遇到错误的时候非常有帮助
      • Cursor的代码重构(编辑)体验很好，显示修改的部分，你可以选择接受或者拒绝，尤其是代码
    • CodeCursor：github.com/Helixform/C…

通用

插件 🌟（目前只开发给了一部分plus用户使用）：

介绍

已有插件列表：

插件开发手册：

插件案例：

一些个人关于插件的引申思考：

  • 以后随着时间的推移，互联网上的每个网站都会有一个API和一个ai-plugin.json文件，每个网站都会有一个ai.json文件，让大家通过AI直接和网站交互。
  • 入口： PC时代 - 网站 移动端 - 应用 AI时代 - 智能代理
  • 操作方式： 用户的使用需求 => AI转化为功能需求 => 调用对应插件；
  • 信息分类
    • feed流
    • 主观控制的检索思路
  • 交互性网站暴露AI.json交互；
  • 信息/视频/图片 检索的能力大大上升

链接：

Part4 — 结合低码平台思考

文档助手/客服

目前实现思路：

用 途：

  • 内部文档：（输入集为平台知识库、使用手册、API手册、QA等）

    • 提高低码平台开发、使用效率，用户体验更好；
    • 随着更多内容、QA的收录，能力会越来越强；
    • 此处引用微博案例：

  • 外部文档：microsoft、包括各大知名NPM仓库，eg：React

    • 会将：官方文档 => 官方文档机器人

代码/编程

  • bff层：调用不同的服务接口进行聚合/过滤
    • 自动生成bff业务代码
    • 直接由gpt调用不同服务接口直接返回
  • 逻辑编排

  • 生成代码
    • 通用性核心代码生成/集成单测/优化，保证质量；
    • 高码类业务组件的基本模版生成。
  • 编程助手部分
    • 将平台本身文档、代码，如Schema/ts类型文件等文件作为输入，建立一个智能的编程助手；
      • 平台能力查询，操作指南；
      • 查询某个对象、类的方法、属性，比如需要知道某一模块有没有实现某个功能，或者要实现什么功能，可能采用什么样的方法；
      • 平台本身开发、高低码组件结合。
    • 结合cursor或Copilot X插件
      • 查询、定位问题，生成代码
      • debug
  • 智能中台：由gpt识别自然语言，转化为对应工具的调用
    • 接收用户自然语言指令
      • 自动应用模版、组件，生成布局树、更改组件样式、prop；
    • 对接编程辅助工具，如编码转换、格式转换、生成正则等一系列
    • sql工具：github.com/whoiskatrin…
    • AI + RPA 实现某些流程自动化，如部署，发布
  • 工作辅助部分
    • 文档、会议等材料快速问答助手：丢一个文档给gpt，实现快速了解某个问题、知识块、或者材料的核心内容；
    • OA类接入（参考上面智能中台的应用）；
    • 邮件/文本纠错等一系列可以利用Prompt的能力（可利用微调为某一种措辞风格）

Part5 — 展望 & 未来

  • gpt必将以智能助手，集成一系列的第三方插件、服务的方式，充当个人工作、生活的强大助手；
  • 以后业务类网站的交互、呈现方式会有更大的改变，但图片、视频feed的网站会更加注重用户体验；
  • 初期Prompt的质量很大程度决定了问答质量，后面随着更多应用层领域的产品出现，会降低使用难度，领域会更垂。
  • AIGC革命来了。

Part6 — 补充链接

本文很多内容引自大佬宝玉xp在微博上的分享内容、其他大佬播客等资料，并整理、分析。

avatar
文章
阅读
粉丝