Linxiushen cb08b9300b [fix] train_tokenizer 读预训练语料时产出 0 条文本，静默训出空词表 ... get_texts() 只解析 data.get('conversations')，但主线预训练数据 pretrain_t2t(_mini).jsonl 的每行是 {"text": ...}（README「数据集下载」一节）。 把 DATA_PATH 指向预训练语料时，生成器一条文本都不产出，BpeTrainer 仅基于 initial_alphabet 训练，得到一个没有任何 merge 的词表，全程不报错。 复现（改 DATA_PATH 为任意 pretrain_t2t*.jsonl，或直接调用）： from train_tokenizer import get_texts sum(1 for _ in get_texts('../dataset/pretrain_t2t_mini.jsonl')) # 修复前: 0 # 修复后: 1270238 改动： - get_texts 同时兼容 {"text": ...} 与 {"conversations": [...]} 两种格式 - 产出 0 条时 raise ValueError，而不是让调用方拿到一个空词表 - 把硬编码的 `if i >= 10000: break` 提为模块级 MAX_LINES（默认 0 = 全量）。 原先这一行也会让 SFT 语料只用前 10000 行，且无从关闭； 另外它按「行号」计数而非「有效文本条数」，遇到空内容或解析失败的行会提前耗尽配额。 验证：用 pretrain_t2t 的前 3000 篇跑 train_tokenizer(vocab_size=2000)， 得到 vocab=2000 / merges=1708；修复前同样输入得到 0 条 merge。 两种格式各 20000 行的合成数据上，产出条数均为 20000（修复前分别是 0 和 10000）。		2026-09-20 10:33:51 +08:00
..
rollout_engine.py	[fix] keep agent rollout token-aligned #850	2026-09-10 11:44:05 +08:00
train_agent.py	[update] trim verbose ddp comments	2026-09-15 14:53:11 +08:00
train_distillation.py	[fix] ddp exit hang	2026-06-01 17:50:39 +08:00
train_dpo.py	[fix] ddp exit hang	2026-06-01 17:50:39 +08:00
train_full_sft.py	[update] remove expert args	2026-09-04 22:16:38 +08:00
train_grpo.py	[update] trim verbose ddp comments	2026-09-15 14:53:11 +08:00
train_lora.py	[fix] ddp exit hang	2026-06-01 17:50:39 +08:00
train_ppo.py	[update] trim verbose ddp comments	2026-09-15 14:53:11 +08:00
train_pretrain.py	[update] remove expert args	2026-09-04 22:16:38 +08:00
train_tokenizer.py	[fix] train_tokenizer 读预训练语料时产出 0 条文本，静默训出空词表	2026-09-20 10:33:51 +08:00
trainer_utils.py	[update] simplify safe math eval	2026-09-14 23:55:32 +08:00