如何理解与自然语言大模型对话中的 Token？

什么是 Token

token是文本的最小单元，它是模型处理文本的基本单位。 自然语言处理（NLP）和AI对话系统中，token是一个核心概念。 结论：token可以是一个单词、标点符号、数字，甚至是单个字符。因此，中文得名”词元“

选择题

答：D