金融行业动态评估:基于大模型实现文本分类、信息提取与信息匹配全链路开发

7 阅读6分钟

金融行业动态评估:基于大模型实现文本分类、信息提取与信息匹配全链路开发

前言

在金融行业动态评估业务中,海量新闻、公告、研报等非结构化文本,如果依靠人工处理效率极低。传统方案需要大量标注数据,分别训练分类、NER、相似度模型,开发周期长。

随着大模型技术发展,文本分类、信息提取、信息匹配三大任务都可以直接基于大模型Prompt完成,无需微调、无需大量标注样本,非常适合金融项目前期快速落地验证。本文完整实现一套纯大模型驱动的金融动态评估流水线,所有任务均调用大模型完成,不使用BERT微调、CRF、Sentence‑Transformer等传统模型。

适用场景:小样本金融NLP业务;支持对接云端大模型或者本地开源大模型(Qwen、GLM、Llama等,通过OpenAI兼容接口)。

环境依赖

pip install openai python-dotenv

整体业务流程

原始金融资讯 →【大模型文本分类】过滤无关资讯 →【大模型信息提取】输出结构化JSON →【大模型信息匹配】实体归一、信息对齐 → 输出标准化行业动态数据集。

完整代码实现

import os
import json
from openai import OpenAI
from dotenv import load_dotenv
​
load_dotenv()
​
# 初始化大模型客户端,支持vLLM/Ollama等本地兼容OpenAI接口
client = OpenAI(
    api_key=os.getenv("LLM_API_KEY"),
    base_url=os.getenv("LLM_BASE_URL")
)
​
​
def llm_invoke(system_prompt: str, user_content: str, temperature: float = 0.1) -> str:
    """
    通用大模型调用封装
    temperature设置很低,保证输出结果稳定,适合结构化输出任务
    """
    resp = client.chat.completions.create(
        model="qwen-14b",  # 修改为自己实际使用的模型名称
        messages=[
            {"role": "system", "content": system_prompt},
            {"role": "user", "content": user_content}
        ],
        temperature=temperature
    )
    return resp.choices[0].message.content.strip()
​
​
def llm_text_classify(text: str):
    """
    任务1:大模型完成金融文本分类
    标签:利好 / 利空 / 无关
    返回:{"label": str, "reason": str}
    """
    sys_prompt = """
你是金融行业分析专家,请对输入新闻文本进行判断。
可选标签只有三个:利好、利空、无关。
- 利好:对行业或企业发展具备正面推动作用
- 利空:对行业或企业发展带来负面冲击
- 无关:不属于金融行业动态相关内容
​
严格输出JSON,禁止任何额外说明:
{
  "label": "利好|利空|无关",
  "reason": "简短判断理由,不超过50字"
}
"""
    output = llm_invoke(system_prompt=sys_prompt, user_content=text)
    return json.loads(output)
​
​
def llm_info_extract(text: str):
    """
    任务2:大模型金融信息提取
    抽取行业、企业主体、事件、时间、关键指标,无内容填null
    """
    sys_prompt = """
你是金融信息抽取专家,从新闻文本提取结构化信息。
只输出JSON,不要多余文字。字段:
{
    "industry": "涉及行业,无则null",
    "company": "文中出现企业名称,无则null",
    "event": "简要概括核心事件",
    "time": "文中出现时间,无则null",
    "key_value": "产能、价格、规模等关键数值指标,无则null"
}
"""
    output = llm_invoke(system_prompt=sys_prompt, user_content=text)
    return json.loads(output)
​
​
def llm_entity_normalize(entity_name: str, standard_entity_list: list):
    """
    任务3‑1:信息匹配-实体归一
    将简称、别名匹配标准知识库;无匹配返回None
    """
    sys_prompt = f"""
根据待匹配实体,从下面标准实体库中寻找语义对应的标准名称。
标准实体库:{standard_entity_list}
有匹配输出标准名称;无匹配输出null。
仅输出结果字符串,不要解释。
"""
    res = llm_invoke(system_prompt=sys_prompt, user_content=entity_name)
    res = res.strip().strip('"')
    if res.lower() == "null":
        return None
    return res
​
​
def llm_check_same_event(news_a: str, news_b: str):
    """
    任务3‑2:信息匹配‑事件去重判断
    判断两段新闻是否描述同一个真实事件,主题相似不算同一事件
    返回 {"is_same": bool, "reason": str}
    """
    sys_prompt = """
对比两段新闻,判断是否描述同一个真实事件。
只有时间、主体、核心事实高度一致,才判定为同一个事件。
输出JSON:
{
    "is_same": true/false,
    "reason": "简短理由,不超过60字"
}
"""
    user_input = f"新闻A:{news_a}\n新闻B:{news_b}"
    output = llm_invoke(system_prompt=sys_prompt, user_content=user_input)
    return json.loads(output)
​
​
def finance_dynamic_full_pipeline(news_list: list, standard_entity_list: list):
    """
    全链路流水线:原始新闻 ->分类过滤 ->信息抽取 ->实体归一
    """
    result_list = []
    for news in news_list:
        # Step1 文本分类,过滤无关资讯
        classify_result = llm_text_classify(news)
        if classify_result["label"] == "无关":
            continue
​
        # Step2 信息提取
        extract_result = llm_info_extract(news)
​
        # Step3 实体归一匹配
        raw_company = extract_result.get("company")
        standard_company = None
        if raw_company:
            standard_company = llm_entity_normalize(raw_company, standard_entity_list)
        extract_result["company_standard"] = standard_company
​
        result_list.append({
            "original_news": news,
            "sentiment_label": classify_result["label"],
            "sentiment_reason": classify_result["reason"],
            "structured_data": extract_result
        })
    return result_list
​
​
if __name__ == "__main__":
    # 测试样例
    test_news = [
        "政策出台大力扶持新能源产业,行业订单大幅增长",
        "原材料价格暴涨,多家车企利润大幅收缩",
        "2026年9月,光伏行业多家企业宣布扩产,隆基绿能计划新增15GW产能。",
        "综艺节目官宣定档播出"
    ]
    standard_entities = ["隆基绿能科技股份有限公司", "中国工商银行股份有限公司"]
​
    pipeline_output = finance_dynamic_full_pipeline(test_news, standard_entities)
    for item in pipeline_output:
        print(json.dumps(item, ensure_ascii=False, indent=2))
​
    # 测试事件重复判断
    event1 = "隆基绿能宣布新增15GW光伏产能"
    event2 = "隆基公司计划建设15GW光伏生产产能"
    same_event_res = llm_check_same_event(event1, event2)
    print("\n事件去重判断结果:")
    print(json.dumps(same_event_res, ensure_ascii=False, indent=2))

.env配置文件示例

LLM_API_KEY=sk-xxx
LLM_BASE_URL=[http://127.0.0.1:8000/v1](http://127.0.0.1:8000/v1)

生产落地关键点

优势

  1. 零训练零标注,全部依靠Prompt,快速验证业务需求;
  2. 统一一套大模型完成分类、抽取、匹配,技术栈简单;
  3. 对金融简称、复杂长文本理解能力强,适合小样本场景。

存在问题

  1. 多次调用大模型,接口耗时较长,吞吐量有限;
  2. 偶尔输出不合法JSON,生产环境必须增加异常捕获、重试逻辑;
  3. 成本较高,高并发场景不适合完全裸跑大模型。

线上优化建议

  1. 使用vLLM部署本地开源大模型,降低调用成本;
  2. 增加try‑except捕获JSON解析异常,设置重试次数;
  3. 增加缓存,重复文本直接返回历史结果,减少重复调用;
  4. 业务中后期,可利用大模型生成标注数据集,蒸馏轻量模型用于高并发推理。

总结

本文实现了一套纯大模型驱动的金融行业动态评估方案,将文本分类、信息提取、信息匹配三个任务统一使用大模型Prompt完成。该方案适合项目初期快速验证业务逻辑。当业务规模上涨之后,可以采用“大模型造数据 + 小模型线上推理”的混合架构兼顾效果与性能。

本代码为学习Demo,用于技术博客演示,上线需要补充异常处理、日志、缓存等工程模块。