区分字符、词、Token ID、静态词向量和上下文表示，并手算一次余弦相似度。
标签：Token
共 2 篇相关内容，按发布时间排列。
理解 NLP 中 Token 与词典的概念、特殊 Token（UNK/BOS/EOS/SEP）的作用、词典大小的设计权衡，以及字节对编码 BPE 算法如何用词根思想构建词典
共 2 篇相关内容，按发布时间排列。
区分字符、词、Token ID、静态词向量和上下文表示，并手算一次余弦相似度。
理解 NLP 中 Token 与词典的概念、特殊 Token（UNK/BOS/EOS/SEP）的作用、词典大小的设计权衡，以及字节对编码 BPE 算法如何用词根思想构建词典