36. 自然语言处理-Natural Language Processing_哔哩哔哩_bilibili
1. 简介
在第 36 集中,视频主要介绍了自然语言处理(Natural Language Processing,简称 NLP)的基础知识,包括其定义、主要应用领域和发展历程。视频探讨了 NLP 如何赋予计算机理解和生成自然语言的能力,并讲解了与之相关的各种技术和算法。
2. 自然语言处理的定义
自然语言处理(NLP)是一个结合了计算机科学和语言学的跨学科领域,旨在使计算机能够理解、解释和生成人类语言。自计算机诞生之初,研究人员就渴望让计算机学会人类语言,这种需求驱动了 NLP 的发展。
2.1 构建和解析句子
2.1.1 词性与语法
在 NLP 早期,如何解构和理解句子是一个基本问题。学校教育中的词性分类(例如名词、动词、形容词等)对计算机理解语言有显著帮助。然而,许多词具有多重含义,这要求计算机不仅需要词典,还需要了解语法规则。
2.1.2 短语结构规则和分析树
为了帮助计算机更好地理解句子的结构,开发了短语结构规则,这些规则体现了一门语言的语法。例如,英语中句子可以由名词短语和动词短语组成。使用这些规则,可以构建分析树,它不仅标记每个词性,还揭示句子结构。
2.2 语言任务中的应用
现代计算机可以通过处理和生成语言来回答问题和执行命令,如“设定 2:20 的闹钟”或“播放 Spotify 上的 T-Swizzle”。然而,当句子过于复杂时,计算机可能无法正确解析或理解句子。
3. 语音识别与合成
3.1 早期系统和发展历程
语音识别(Speech Recognition)研究已经进行了数十年。最早的系统包括 Bell Labs 在 1952 年推出的 Audrey,它能识别十个数字。如果说得够慢,系统可以准确地识别数字,但并没有推广。随后,IBM 设计了一个能识别十六个词的机器,这些早期的系统为后来的研究奠定了基础。
3.2 音素和声谱图
当计算机接收语音信号时,它会将这些声音分解为单个的音素(phonemes),通过分析声谱图来识别每个音素。语音信号的转换使用快速傅立叶变换(FFT),在频域上观察声音数据可以更清晰地区分类。
3.3 语言模型和准确性提升
由于口音和发音错误等原因,语音识别的准确性并非总是很高。结合语言模型(Language Models),可以通过统计单词序列的方式,提高转录的准确性。例如,“she was”这句话之后更可能跟随一个形容词而不是名词。
4. 语音合成
语音合成(Speech Synthesis)即通过计算机生成语音输出。早期技术通过音素拼接的方式生成语音,但通常产生明显的机器人声音。如今,像 Siri、Cortana 和 Alexa 这样的现代合成语音技术有了显著改进,但仍未完全达到人类语音的自然程度。
4.1 未来发展
随着语音用户界面在手机、汽车和家庭中的广泛应用,语音技术正迎来爆炸式增长。大量的使用数据进一步训练系统,从而提高识别和合成的准确性,形成了一个正反馈循环。
5. 总结
- 自然语言处理结合了计算机科学与语言学,为计算机理解和生成人类语言提供了技术支持。
- NLP 包含了词性标注、句子解析、语义分析等多个步骤。
- 语音识别技术通过分析声谱图和使用语言模型来提高精准度。
- 语音合成技术从早期的音素拼接发展到如今更加自然的合成语音。
- 未来语音技术将会更加普及,促进人与计算机的自然交互。