研究评估
经过一个月的努力,完整的研究报告终于完成!
由于总篇幅长达40页,可以在某开源代码托管平台上找到渲染后的Markdown格式或PDF格式的版本。建议阅读主要论文,但下方也包含了一个快速摘要。
摘要
本报告评估了一项为期六个月的实盘交易实验,在该实验中,一个大型语言模型(ChatGPT)在严格的、仅面向未来的约束条件下管理了一个微型股投资组合。该实验的目的并非优化业绩,而是研究决策行为:模型如何对收益和损失做出反应,重新建仓的频率,如何通过止损来管理风险,以及其决策如何随时间演变。所有的交易、投资组合状态、提示词和结果都被记录下来,以确保透明度和可审计性。
总体分析结果较为复杂。虽然在整个期间,该投资组合未能超越主要基准指数,但结果揭示了几种一致的行为模式。模型在某些个股头寸上表现出持续性,即使在实际结果不佳后,也经常重新买入之前交易过的证券。在先进先出批次和纯盈亏层面,剔除一个极端异常值(ATYR)会显著改变利润因子和期望值等总体指标,凸显了短期微型股策略对尾部事件的敏感性。这些发现强调了决策结构性和稳定性的重要性。
重要的是,本分析仅反映单次实验运行,并非试图概括性能声明。相反,该实验的价值在于揭示了大型语言模型在面临不可逆后果和有限人工指导的环境中的行为方式。完整报告详细记录了方法、失败模式和局限性,并为未来专注于理解LLM在风险下决策行为的实验奠定了基础。未来的工作将把这个框架扩展到更多的市场环境并进行重复试验,以更好地区分行为趋势与噪声。
LLM投资者行为基准 —— LIBB
在注意到缺乏一个灵活、开源的标准研究库来进行LLM实验后,我将重点从创建一个通用的LLM交易基准转向构建一个专为研究人员设计的强大库。
只需创建提示词和时间表,LIBB就能自动创建可预测的文件系统,处理所有投资组合处理,分析情绪、行为和表现,并将收集的数据绘制成图表。
由于其简单性和灵活性,未来的实验都将使用LIBB进行实验设置。
代码示例
from libb.model import LIBBmodel
from .prompt_models import prompt_daily_report
from libb.other.parse import parse_json
import pandas as pd
MODELS = ["某个模型", "另一个模型"]
def daily_flow(date):
for model in MODELS:
libb = LIBBmodel(f"user_side/runs/run_v1/{model}", run_date=date)
libb.process_portfolio()
daily_report = prompt_daily_report(libb)
libb.analyze_sentiment(daily_report)
libb.save_daily_update(daily_report)
orders_json = parse_json(daily_report, "ORDERS_JSON")
libb.save_orders(orders_json)
return
只需一个用户创建的函数,LIBB就能让工作流轻松实现为不同模型自动创建相同的文件系统、处理待处理订单、保存未来订单和原始报告,并分析和记录来自给定报告的情绪。
示例图表
LIBB也让绘图变得简单。通过保存一个月的回测报告情绪,可以调用一个函数,LIBB便会生成图表。
那么……下一步是什么?
目前,正在专注于LIBB,并确保它为未来关于新股发行的实验提供一个稳定的基础。之后,将开始开发实验的工作流程,并创建一个博客来最终确定规则并解释设置。
一如既往,会在两个社交媒体平台上发布更频繁的更新。请告知对这份报告和新项目的看法!FINISHED