1.3 GPT-4多模态能力与函数调用功能深度剖析

1.3 GPT-4多模态能力与函数调用功能深度剖析

一、GPT-4的多模态革命

GPT-4是OpenAI首款原生多模态大模型，能够同时理解文本与图像输入。这一能力将LLM的应用边界从纯文本扩展至图文混合场景，为文档分析、图表理解、视觉问答等应用开辟了新的可能。

---

二、多模态能力详解

2.1 支持的输入类型

类型	说明	典型场景
文本	与GPT-3.5一致	对话、问答、生成
图像	PNG、JPEG、GIF、WebP	图表分析、截图理解、手写识别
图文混合	文本+多图	文档问答、多图对比

2.2 多模态工作流程

flowchart TB
    A[用户上传图像] --> B[图像编码器]
    C[用户文本] --> D[文本编码器]
    B --> E[多模态融合]
    D --> E
    E --> F[GPT-4推理]
    F --> G[文本输出]

2.3 典型应用场景

• 文档理解：上传PDF截图，提取关键信息
• 图表分析：解读折线图、柱状图、流程图
• 代码截图：根据截图生成或解释代码
• 手写识别：识别手写笔记、公式

---

三、函数调用（Function Calling）详解

3.1 什么是Function Calling

Function Calling允许GPT模型在推理过程中决定是否调用外部函数，并将函数返回结果纳入后续生成。这实现了LLM与外部工具（数据库、API、计算器）的无缝集成。

3.2 调用流程

sequenceDiagram
    participant U as 用户
    participant M as GPT模型
    participant F as 外部函数

    U->>M: 查询北京天气
    M->>M: 判断需要调用天气API
    M->>F: 调用 get_weather(city="北京")
    F->>M: 返回 晴，20-28℃
    M->>U: 北京今天晴，20-28℃

3.3 核心代码示例

# Function Calling 完整示例
# 运行: pip install openai python-dotenv

import json
import os
from dotenv import load_dotenv
from openai import OpenAI

load_dotenv()
client = OpenAI(api_key=os.getenv("OPENAI_API_KEY"))

def get_weather(city: str) -> str:
    """模拟天气查询"""
    data = {"北京": "晴，20-28℃", "上海": "多云，22-30℃"}
    return data.get(city, "暂无数据")

def chat_with_tools(user_query: str) -> str:
    functions = [{
        "name": "get_weather",
        "description": "获取指定城市的天气",
        "parameters": {
            "type": "object",
            "properties": {"city": {"type": "string", "description": "城市名"}},
            "required": ["city"]
        }
    }]
    
    response = client.chat.completions.create(
        model="gpt-3.5-turbo-0613",
        messages=[{"role": "user", "content": user_query}],
        functions=functions,
        function_call="auto"
    )
    
    msg = response.choices[0].message
    if msg.function_call:
        name = msg.function_call.name
        args = json.loads(msg.function_call.arguments)
        result = get_weather(args["city"])
        # 将结果返回给模型生成最终回复
        follow = client.chat.completions.create(
            model="gpt-3.5-turbo-0613",
            messages=[
                {"role": "user", "content": user_query},
                msg,
                {"role": "function", "name": name, "content": result}
            ]
        )
        return follow.choices[0].message.content
    return msg.content

if __name__ == "__main__":
    print(chat_with_tools("北京今天天气怎么样？"))

---

四、多模态API调用示例

# GPT-4 Vision 图像理解示例
import base64
import os
from openai import OpenAI

client = OpenAI(api_key=os.getenv("OPENAI_API_KEY"))

def analyze_image(image_path: str, question: str) -> str:
    with open(image_path, "rb") as f:
        image_data = base64.b64encode(f.read()).decode()
    
    response = client.chat.completions.create(
        model="gpt-4-vision-preview",
        messages=[{
            "role": "user",
            "content": [
                {"type": "text", "text": question},
                {"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{image_data}"}}
            ]
        }],
        max_tokens=500
    )
    return response.choices[0].message.content

---

五、多模态技术原理深入

5.1 图像编码与融合

GPT-4的多模态能力依赖于视觉编码器将图像转换为与文本兼容的表示。流程大致为：

1. 图像预处理：缩放、裁剪至模型要求的尺寸
2. 视觉编码：通过卷积或Transformer编码为向量序列
3. 与文本对齐：图像向量与文本Token在同一嵌入空间中对齐
4. 统一推理：在统一的Transformer中处理图文序列

flowchart TB
    subgraph 预处理
        A1[图像缩放] --> A2[分块/切片]
    end
    subgraph 编码
        A2 --> B1[视觉编码器]
        B1 --> B2[图像Token序列]
    end
    subgraph 融合
        B2 --> C1[与文本Token拼接]
        C1 --> C2[统一Transformer]
    end
    C2 --> D[文本输出]

5.2 图像输入限制

限制项	说明
格式	PNG、JPEG、GIF、WebP
尺寸	单图最大约20MB，分辨率过高会被压缩
数量	单次请求可包含多图，但受上下文窗口限制
细节	过小文字、复杂图表可能识别不准

---

六、Function Calling技术细节

6.1 函数描述的JSON Schema

模型通过函数描述理解何时调用、传何参数。描述需符合JSON Schema规范，包含name、description、parameters。parameters中需明确type、properties、required等。

# 复杂参数示例
{
    "name": "search_products",
    "description": "根据条件搜索商品",
    "parameters": {
        "type": "object",
        "properties": {
            "keyword": {"type": "string", "description": "搜索关键词"},
            "category": {"type": "string", "enum": ["电子", "服装", "食品"], "description": "商品类别"},
            "max_price": {"type": "number", "description": "最高价格"}
        },
        "required": ["keyword"]
    }
}

6.2 多轮对话中的Function Calling

多轮对话时，需将每次的function_call与function回复追加到messages，模型才能基于完整上下文继续推理。若多次调用函数，需循环处理直至模型不再返回function_call。

6.3 错误处理与重试

函数执行可能失败（如网络超时、参数错误）。建议：

• 将异常信息封装为字符串返回给模型，让模型决定是否重试或向用户解释
• 对敏感操作（如支付、删除）增加二次确认，避免模型误触发

---

七、实战：多工具组合调用

以下示例展示如何定义多个工具，供模型根据用户意图选择：

# 多工具Function Calling示例
import json
import os
from dotenv import load_dotenv
from openai import OpenAI

load_dotenv()
client = OpenAI(api_key=os.getenv("OPENAI_API_KEY"))

def get_weather(city: str) -> str:
    data = {"北京": "晴，20-28℃", "上海": "多云，22-30℃"}
    return data.get(city, "暂无数据")

def get_time() -> str:
    from datetime import datetime
    return datetime.now().strftime("%Y-%m-%d %H:%M:%S")

def chat_with_multi_tools(user_query: str) -> str:
    functions = [
        {"name": "get_weather", "description": "获取城市天气", "parameters": {"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]}},
        {"name": "get_time", "description": "获取当前时间", "parameters": {"type": "object", "properties": {}}}
    ]
    messages = [{"role": "user", "content": user_query}]
    
    # 循环处理可能的多次函数调用
    while True:
        response = client.chat.completions.create(
            model="gpt-3.5-turbo-0613",
            messages=messages,
            functions=functions,
            function_call="auto"
        )
        msg = response.choices[0].message
        messages.append(msg)
        
        if not msg.function_call:
            return msg.content
        
        name = msg.function_call.name
        args = json.loads(msg.function_call.arguments)
        if name == "get_weather":
            result = get_weather(args.get("city", ""))
        elif name == "get_time":
            result = get_time()
        else:
            result = "未知函数"
        
        messages.append({"role": "function", "name": name, "content": result})

---

八、常见问题与最佳实践

Q1：多模态模型比纯文本模型贵多少？

GPT-4 Vision按图像数量与分辨率计费，通常比纯文本高约2-5倍。建议对非必要图像进行压缩，或先用纯文本模型尝试，必要时再调用多模态。

Q2：Function Calling何时会失败？

若函数描述过于模糊、参数Schema错误、或用户意图与现有函数不匹配，模型可能不调用或传错参数。可通过增加少样本示例、细化description来改善。

Q3：如何防止模型滥用工具？

在system提示中明确工具的使用边界，如"仅当用户明确询问天气时调用get_weather"。对敏感工具增加权限校验与审计日志。

---

九、小结

GPT-4的多模态与函数调用能力，将LLM从"纯文本对话"升级为"可看、可算、可调工具"的智能体基础。掌握图像输入格式、函数描述规范、多轮调用逻辑与错误处理，是构建复杂AI应用的关键。下一节将拆解ChatGPT、Copilot等产品的应用场景。

---

下一节预告：1.4 大模型应用场景全景：ChatGPT与Copilot等产品拆解