论文翻译
论文作者讲解
解决问题
现有评价标准过高的评估模型效果（现有标准一般是accuracy或者 F1 这种标准度量）
解决对策
由软件测试方法得来灵感
建立 CheckList 流程框架：
- 测试一些独立的最小单元组件（例如，区分词性、近反义词、语义角色等）
- 进行黑盒测试（只看输入输出）
- 三种测试类型：
最小功能测试（不再一味追求输出文本的复杂性，而是用多个简单句，测试不同的判别能力）
不变性测试（对数据做小的变化看输出结果是不是可以保持不变）
定向期望测试（当在正面句子中添加负面信息的时候期待模型可以发生变化） - 对测试实例的敏感性
测试用例生成工具包，设置自己的用例
创新点：
揭示了很多现有模型的缺陷。其中很多问题，是过去人们极少关注的，比如时序、对命名实体的敏感程度等。研究模型是否能理解时效、简单的否定等等问题时，商用模型都表现出明显的失败率。
