Linxiushen
|
cb08b9300b
|
[fix] train_tokenizer 读预训练语料时产出 0 条文本，静默训出空词表
get_texts() 只解析 data.get('conversations')，但主线预训练数据
pretrain_t2t(_mini).jsonl 的每行是 {"text": ...}（README「数据集下载」一节）。
把 DATA_PATH 指向预训练语料时，生成器一条文本都不产出，BpeTrainer 仅基于
initial_alphabet 训练，得到一个没有任何 merge 的词表，全程不报错。
复现（改 DATA_PATH 为任意 pretrain_t2t*.jsonl，或直接调用）：
from train_tokenizer import get_texts
sum(1 for _ in get_texts('../dataset/pretrain_t2t_mini.jsonl'))
# 修复前: 0
# 修复后: 1270238
改动：
- get_texts 同时兼容 {"text": ...} 与 {"conversations": [...]} 两种格式
- 产出 0 条时 raise ValueError，而不是让调用方拿到一个空词表
- 把硬编码的 `if i >= 10000: break` 提为模块级 MAX_LINES（默认 0 = 全量）。
原先这一行也会让 SFT 语料只用前 10000 行，且无从关闭；
另外它按「行号」计数而非「有效文本条数」，遇到空内容或解析失败的行会提前耗尽配额。
验证：用 pretrain_t2t 的前 3000 篇跑 train_tokenizer(vocab_size=2000)，
得到 vocab=2000 / merges=1708；修复前同样输入得到 0 条 merge。
两种格式各 20000 行的合成数据上，产出条数均为 20000（修复前分别是 0 和 10000）。
|
2026-09-20 10:33:51 +08:00 |
jingyaogong