中项题库-2026上(第2批)-综合知识-第39题

中项题库-2026上(第2批)-综合知识第39题(单选题)
自然语言处理中,文本语义分析、分词处理的最小基础处理单位被称为()。
A.字符
B.词元
C.句子
D.段落

【答案】B
【解析】
本题知识点:信息技术发展 >> 新一代信息技术及应用 >> 人工智能
在自然语言处理(NLP)中,词元(Token)是文本经过分词处理后的最小基础处理单位,是语言模型读取和处理文本的基本单元。文本语义分析和分词处理都是以词元为基础进行的。
字符是单字或符号层级,粒度比词元更小,通常不作为语义处理的基础单位;句子由多个词元组成,属于更高层级的文本结构;段落由多个句子构成,粒度最大。因此选B。
—

© 版权声明
THE END
喜欢就支持一下吧
点赞12 分享