update minimind-v1

pull/825/head
gongjy 2024-08-31 23:22:09 +08:00
parent 6b8d585d82
commit b5ac27994b
1 changed files with 1 additions and 1 deletions

View File

@ -167,7 +167,7 @@ python 2-eval.py
强大的开源模型例如01万物、千问、chatglm、mistral、Llama3等,它们的tokenizer词表长度如下:
| Tokenizer 模型 | 词表大小 | 来源 |
|--------------------|---------|------------|
|--------------------|---------|------------|
| yi tokenizer | 64,000 | 01万物(中国) |
| qwen2 tokenizer | 151,643 | 阿里云(中国) |
| glm tokenizer | 151,329 | 智谱AI(中国) |