本文分为三部分。
上篇将提出以语料产生的时间顺序或人类学习学科知识的顺序输入优质人文社科语料的设想,这与汉语文本结合将产生更大的优势。近期微软亚洲研究院和南洋理工大学等研究团队联合发表的论文《Demystifying Data Organization for Enhanced LLM Training》与本文设想在本质上高度一致,“G1. 边界锐化”及“G3. 课程连续性”。以及在使用优质人文社科语料训练的基础上首先开发可用于严肃领域的0号通识基座模型。
中篇将写到语料的细分会是未来AI能力区分的重点;出版社编辑对于文字质量有着判断力;数据红利可由各方共享。
下篇将阐述从国家数据局于2026年6月3日发布的《关于推进行业高质量数据集建设行动的实施方案》中“推动版权作品数据等有序用于模型训练,完善数据授权使用机制和收益分配规则”出发,法律法规、政策制度、出版社等版权方的联合表态及国外主流AI诉讼情况可以看出AI训练付费使用版权作品是未来的必然趋势。
上篇
现行大语言模型预训练的方式是无序输入海量数据,如果以语料产生的时间顺序或人类学习学科知识的顺序输入优质人文社科语料,大模型的“思考”能力会不会提升?同时,通过人类精选的语料训练,可以开发出更适于应对严肃领域需求的中立、客观的0号基础模型,在0号基础模型之上再继续开发领域AI。
一、高质量数据使用的新方法——有序输入
大模型要模拟人的思考,但大模型“学习”的方式却和人类完全不同。就算是一个过目不忘、天赋异禀的少年英才,也无法在庞杂、无序的大量阅读中自行掌握“思考”的方法。而后续的微调和对齐是将他的“思考”框定在一个范围内,用禁止事项和迎合偏好尝试让他不说错话且尽量讨人喜欢。但,这更像一个从训练营中被经纪公司按照固定标准经过严格训练、管理产生的年轻偶像。这样的大模型,幻觉、混乱、不实、似是而非,尤其无法满足严肃领域的要求。
本文提出可以尝试参考人的有序学习方法训练大模型:以语料产生的时间顺序或人类学习学科知识的顺序输入优质人文社科语料,以完整文本有序进行预训练,这个设想已经有所证实(微软亚洲研究院和南洋理工大学等研究团队联合发表的论文《Demystifying Data Organization for Enhanced LLM Training》:“G1. 边界锐化”及“G3. 课程连续性”)。
数学、物理、化学、计算机等理工学科的发展,以术语、符号进行表达,理论的变动基本与时间空间无关。没有时间空间意识,大模型也能运用定理、公式进行推理。
但是人文社会科学领域,对于时间和空间的认知非常重要。 例如历史事件发生在全世界不同的地方,每个地方都有不同的文化、法律、政治、地理情况,每个事件都有发生的具体时间和发展的具体过程,并会对后来产生影响。再如宗教、哲学都是基于时空的不同在发展。佛教产生于印度,但在东亚获得了广而深的发展,并与不同国家的本土文化相结合,发展出新的派别。哲学的思想也是在几千年中不断变动发展的,世界的变化推动着哲学的变动。
本文设想,在人文社科领域,语料的输入顺序或许对于大模型关于时间、空间、思想变动的统计和推理会产生很大影响。而汉语文本对此有极大优势。
中国人文社科的文本,产生时间在后的文本很多是对在先文本的注释、解说,注疏本身就是标注,是对原始文本的注释。 比如《论语》,从产生到今天,两千多年中有很多对它进行注释、研究的书目,古代有《论语注疏》,现代有《论语今读》;历史学有现代文本对过往两千多年的概述,比如《中国通史》、《国史大纲》;现代学科史、学科导论、各学科论文、书目也含有大量解读原始文本的内容。这些文本之中本就蕴含着不同时代对同一原始文本、对同一历史事件的不同认知,大模型通过统计可以认识到思想发展的有序变动。
中文的优势还在于世所罕见的两千多年延续不断的丰富多样的文字记录,而且其中大部分,是关于现实世界的思考和记录,关于修身齐家、关于治国理政、关于风土人情、关于内心感悟……而越接近现在 的文字记录,专著或论文,则对两千年来的史实有着越新、越真实、越全面的分析。
对此,本文提出语料通过某种顺序输入是否会影响大模型的推理能力的实验方案,可以分为4组对比实验,以公版书为实验数据:
(1) 先输入单学科历史、学科导论、再输入细分领域;
(2) 将全部语料在学科内完全按产生的时间顺序输入;
(3) 将全部语料完全按产生的时间顺序输入;
(4) 所有语料乱序输入。
具体来说,以哲学和历史为例(实际上文史哲文本可以不做绝对区分,同一份文本既可以是文学材料,也可以是史学和哲学材料):
A. 先输入单学科历史、学科导论、再输入细分领域
(1) 哲学导论、中外哲学史、细分领域……原始文本现代解读(《论语今读》)……从古到今的原始文本(论语、论语注疏、西方哲学文本),配备古汉语字典、词典
(2) 史学导论、中国通史、世界通史、断代史、国别史……从古到今的原始文本(二十四史:《史记》《汉书》……汉赋唐诗宋词),配备古汉语字典、词典
B. 将全部语料完全按产生的时间顺序输入(不按现代标准区分学科,更符合事实)
左传、战国策、诗经、论语、孟子、荀子、离骚、史记、汉书、汉赋、晋书、新唐书、旧唐书、唐诗、五代史、宋史、宋词……明史、明代小说……清史、清代文学作品),配备古汉语字典、词典……史学导论、中国通史、世界通史、断代史、国别史……哲学导论、中外哲学史、细分领域……原始文本现代解读(《论语今读》)……西方哲学文本
C. 将全部语料在学科内完全按产生的时间顺序输入
(1)哲学:从古到今的原始文本(论语、论语注疏、孟子、荀子……西方哲学文本),配备古汉语字典、词典……哲学导论、中外哲学史、细分领域……原始文本现代解读(《论语今读》)……
(2)历史学:从古到今的原始文本(二十四史:《史记》《汉书》、汉赋……新唐书、旧唐书、唐诗……五代史、宋史、宋词……明史、明代小说……清史、清代文学作品),配备古汉语字典、词典……史学导论、中国通史、世界通史、断代史、国别史……
D.以上书目乱序输入(现有预训练方式)
效果评判:
以大学本科、研究生历史哲学考试题目,以由大模型在没有任何人类提示词的情况下写专题报告/论文来测试,请人类专家(比如大学教师、研究生、期刊编辑、出版社编辑)评判水平。
近期微软亚洲研究院和南洋理工大学等研究团队联合发表的论文《Demystifying Data Organization for Enhanced LLM Training》 [i] (下称“联合论文”)与本文设想在本质上高度一致:“ 在大语言模型 (LLMs) 的训练中,数据的高效利用是决定模型最终能力的关键。过去的很多研究将精力集中在“数据筛选”(Data Selection)上,也就是如何从海量互联网语料中挑出最高质量的子集。如今,这个问题依然十分重要。当前大模型通常只在海量数据上训练一轮或少数几轮,模型很可能只“读”一遍教材,因此数据样本呈现的时间顺序直接决定了模型的学习轨迹。如果把训练过程类比为上课,那么数据选择决定了教材内容,而数据组织则决定了课程表:先讲什么、什么时候复习、不同难度之间如何过渡,都会影响最终的学习效果。” “G1. 边界锐化:Boundary Sharpening(边界锐化)强调训练初期和末期的数据分布。预训练阶段,实验显示结尾阶段接触高分样本特别重要,因为训练末端会更加直接地决定模型最终所能达到的能力上限。 在 SFT 阶段,高分样本出现在开头和结尾都可能带来收益。开头帮助模型从预训练状态平稳过渡,结尾则进一步巩固最终能力。”“G3. 课程连续性:Curriculum Continuity(课程连续性)关注相邻训练阶段之间的平滑过渡。FO 能带来复习,但如果一个循环刚在高分样本中结束,下一个循环又突然跳回低分样本,那么优化器可能受到冲击,导致梯度剧烈波动。”“实验结果:排序本身也能带来稳定收益。 研究员们在通用预训练和 SFT 两类场景中验证了这些指南。预训练使用 FineWeb-Edu 和QuratedPajama等数据,SFT 则覆盖数学推理和代码生成任务,使用 DeepMath-103K 与 OpenCodeInstruct 等数据。结果显示,STR 和 SAW 在 FineWeb-Edu 预训练平均准确率上都超过 Random。而且当规模继续放大时,排序策略的优势仍然存在。”
与本文设想对照,即是:按文本产生时间顺序输入,较后的数据总是对在前数据的再解读,最后的数据是每个学科最新的研究,它是对在先文本的重新梳理和分析。而学科类书目总论、分论,世界史、国别史,都会不断重复论述内容,但繁简程度不同,角度不同。且书目都是质量相当的训练数据。
二、先开发纯粹通识AI,再根据不同领域需要调整为专精AI
通过精选、有序的语料进行预训练,可以开发出一个更纯粹的0号大模型,相较于现有大模型,更适合应用在教育、政务、法律等严肃领域。在这个0号大模型基础上,可以再根据不同领域的需要继续训练为专精某一个或某几个领域的大模型,它既有对通识的认知,也具有对领域的专精,可以更好地做到不忽略其他领域的重要问题,也能更好的破除学科壁垒。
[i] 大模型时代,数据不仅要选得好,还要排得好 mp.weixin.qq.com/s/DTMyXryyr…
Garo
2026年7月4日初稿,7月7日第一次修改,7月18日第二次修改