25 A Chain-of-Task Framework for Instruction Tuning of LLMs Based on CGEC

2025 COLING A Chain-of-Task Framework for Instruction Tuning of LLMs Based on Chinese Grammatical Error Correction

Over-correction(过度纠正) is a critical issue for large language models (LLMs) to address Grammatical Error Correction (GEC) task, esp. for Chinese.

1. 模型（LLMs-based Chain-of-Task）

Chain-of-Task

基于任务过程分解的CoTask(任务链)设计（Extract->Correct）
- 解决同一问题时，LMs所需的先验知识和人类所需的先验知识是不完全一致的。(引入指令数据）
- LLM可以通过使用“逐步”提示进行语法错误分析来生成内容，从而纳入必要的先验知识。（引入CoT）
- CGEC的3个任务：error range determination, error type classification, and grammatical error correction
CoCGEC: CoTask任务指令构建
- $K_{LM} = (r, t, c)$
- 3种不同粒度的错误范围：char-level, word-level, and sentence-level （clauses）。
- 本工作提出多粒度算法基于Exact Match (EM) and Minimum Edit Distance (MED) metrics
  - the highest EM and the lowest MED
具体指令见原文目录（3步提示）

GEC advancces are roughly classified as two groups: sequence-to-sequence (Seq2Seq) and sequence-to-edit (Seq2Edit).
- Seq2Seq 依赖大规模标注数据（sentence pairs）
- Seq2Edit 依赖于预测每个标记的编辑标签（例如插入、删除等）来生成校正，因此在处理涉及词序的错误时存在缺陷（Xu等人，2022)。
中文更灵活，且不严格遵循主谓宾的句子模式。此外，汉语的语法关系是通过词序和语境来表达的，而不是通过词形变化来表达。
过度纠正会导致意想不到的语义变化，这严重阻碍了CGEC系统的有效性，因为它会削弱纠正语法错误而不引入不必要的变化的主要目标。
Error Analysis Theory in linguistics 包含3步：1）identifying the error, 2）describing the error, and 3）explaining the error. (Corder, 1975)
Auxiliary task learning for CGEC 大多是关注token级别和句子级别或两者将结合；本工作不依赖于目标任务的人类经验来设计辅助任务。
LLM的课程学习（Curriculum learning）：以往的课程学习策略主要集中在测量每个样本的难度，而我们的工作扩展到测量一批样本的整体难度，提供了一个更全面和有效的训练策略。
布鲁姆分类体系

FCGEC (in-domain, fine-grained multi-reference) (Xu et al. (2022): github.com/xlxwalex/FC…
- 7 种不同的错误类型
- 此外，语料库中每个有语法错误的句子都对应一个甚至多个参考。
NaCGEC (out-of-domain，NLPCC 2023 Task 1): github.com/masr2000/Na…