token是什么意思（tokens）

大家好,小霞来为大家解答以上的问题。token是什么意思，tokens这个很多人还不知道,现在让我们一起来看看吧！

1、在语料库语言学中，会计算文本的tokens和types。

2、tokens指的是“形符”，就是文本中出现的所有词的个数；types指的是“类符”，就是文本中出现的不重样的词的个数。

3、比如，有一个两句话的文本：I am a boy. I am a boy.那么这个文本里面有8个tokens，有4个types。

4、两个数值可以对所建立的语料库进行描述，也可以计算二者之比，来计算语料库文本的复杂程度等等吧。

5、这是语言学方面，尤其是语料库语言学经常出现的tokens的意思。

6、更详细的可以看一些语料库语言学方面的文章。

7、论文中常提到的tokens是象征的意思tokens释义n. 代币（token的复数）；符号。

本文到此分享完毕，希望对大家有所帮助。

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！