简介
在应用计算机解决K12应用题自动求解的场景中,对题目自然语言理解是求解过程中的首要问题。对语义的理解准确性,严重影响后续题目求解的准确率。
本文为个人实现K12应用题求解模型设计方案扩展(多层次多轮正则匹配)的调研补充
自然语言识别的不足(可跳过)
本节展示科大讯飞的讯飞开放平台 和 哈工大社会计算与信息检索研究中心研发语言技术平台(LTP)的API分析结果,用以介绍调研背景
【注】 本小节直接引用公司测试对比结果
基本概念
LTP自然语言基础处理服务包括:词法分析、依存句法分析、语义角色标注、语义依存 (依存树) 分析、语义依存 (依存图) 分析五类,其中词法分析又可以分为:中文分词、词性标注、命名实体识别
测试对比
原题:3.15位家长带着25个小朋友来公园游玩,买门票至少需要多少元?
讯飞开放平台
语义依存树
语义依存图
LTP
语义依存树
语义依存图
个人结论
目前的现有识别模型存在诸多问题,需要进一步预处理、后处理、调优、重新建模等等,如“3.15”中“3.”为题目序号;施事关系、涉事关系、顺承关系、目的关系等等关系链不清晰,个人认为没有从目标产品的角度出发(即K12应用题词汇),无法较好达到的一般自然语言到K12应用题条件的转换
中文词和词组分类调研
词分类
词组分类
(1)联合词组(同类词并列)
关键词:和,而,又,并;如爸爸和妈妈
或者直接并列:如爸爸妈妈
同类词包括:名词、代词、动词或形容词
合并后词性变化:不变
(2)主谓词组:陈述和被陈述关系组合
关键词:是、为
词组结构:名词/代词 + (是/为)? +动词/形容词
合并后词性变化:
- 主语:他这样做不对
- 宾语:他手指破了
- 定语:您提的意见很正确
- 状语:妈妈心疼地看着女儿
- 程度补语:我笑得肚子都疼了
(3)动宾词组:支配和被支配关系组合
词语结构:
- 动词+名词
合并词性变化:
- 主语:学习汉语要注意方法
- 宾语:她喜欢学习汉语
- 定语:她有检查质量的经验
- 状语:他低着头走路
- 程度补语:他冻得打冷战
(4)偏正词组:按照修饰、限制和被修饰、限制的关系组合起来的词组
词组结构:
- 名词 + 名词:沙漠地带、地理老师
- 动词 + 形容词:详细解释、很解释
词组举例:他哥哥(代词+名词)、我的书、劳动人民、很漂亮、严格要求
合并后词性变化:
- 主语:经常锻炼有好处
- 谓语:林先生北京人
- 宾语:他怕太晚
- 定语:那件球衣的颜色很漂亮
- 状语:我忽然感到很不舒服
- 补语:他讨论得很热烈
(5)数量词组
词组结构:
- 数词 + 名量词:一张、两支
- 数词 + 动量词:一次、两趟、五顿、九遍、十二回、六下
合并后词性变化:
- 定语:这是三本地图
- 补语:他来了两趟
- 状语:他们八点出发,我一次只能拿十本
- 主语:一公斤等于一千克
- 宾语:那种钢笔,我有一支(顺序颠倒)
- 谓语:这个本子三毛
注意问题:
- 数量词组和结构词组“的”
a. 名量词构成的数量词的主要作用是修饰名词,数量词和名词间不能用“的”
b. 中心语所代表的事物跟量词不一致时,数量词组要用助词“的”
c. 临时量词,用“一”表示“全”、“满”的意思
- 数量词组
2.1 由动量词构成的数量词组的主要作用是在动词后边做补语,表示动作的次数
-
我再念一遍。
-
你来一趟吧。
2.2 名量词构成的数量词组可以在形容词后边做补语,表示具体的长度、高度、深度等
-
这块布长八米
-
这件衣服的颜色深一些
-
这张桌子比那张桌子高一厘米
-
慢一点!别摔了。
2.3 名量词构成的数量词组做宾语时,指代前文所指的人或事物
-
(这种花布)我买了六米。
-
(这种点心)你尝一块。
2.4 可省略数词:“我写了一封信” 至 “我写封信”
2.5 数词重叠词:一个一个;一个个
(6)补充词组
(7)方位词组
时间方位:夜里、三天前(后)、一个星期左右、一个月以前
数量方位:三十岁以上、四十里以外、五十个左右、四十岁上下
(8)同位词组:两个词从不同角度指出同一个人或事物并互相说明
词组结构:
- 名词+名词:张平教授
- 代词+名词:他哥哥
- 名词+代词:哥哥他
合并后词性变化:
- 主语:方磊他明天去美国
- 宾语:这是我姐姐玛丽
- 定语:春秋两季的天气最好
(9)固定词组:表示一个特定概念
举例:全国人民代表大会、人民英雄纪念碑、坐井观天
(10)介词结构:表示方向、住所、时间、对象、目的、原因、方式等
常见介词结构:
- 在...上:他在沙发上坐着;在学习上,他有明显的进步
- 在...下:在老师的帮助下,同学们变化很大
- 在...中:在同学中,我最喜欢他
- 从...起(从...开始):表示时间或空间方式, 如“从下月一号起放暑假”
- 从...到...:表示时间或空间方式, 如“每天上午从八点到十二点有课”
- 对于...和对...
(11)“的”字结构:附在实词或词组后边组合而成的词组
词性:
-
主语:
a. “是”:表演的是有名的演员;
b. “有”:参加运动会的有各国留学生
c. “的”+动词:送报的来了 -
宾语:
a. 后面不接任何词(短句/句末):我要买新的
词组和句子成分的关系
主要参考
《外国人实用汉语语法》