VocabX 如何通过专用化词表将小模型推理成本降低 77%

Dharma-AI 在 Hugging Face 博客中预告了即将发布的 VocabX 论文，称在不更换基座模型、数据和训练配方的前提下，通过重建词表把生产环境作文评分器的实测推理成本降低 77.0%。该评分器基于 Qwen3-4B，原本沿用为多语言通用文本构建的 151,669 条词表，导致重复的 JSON 结构和评估短语被切成多个 token，且每个生成 token 都要对全部词表打分。VocabX 按 token 所在字段的成本而非出现频率选择词条，同时在子词层重建切分方式、在多词层把重复片段合并为 macro token，并用五个 miner 搜索长词、整行、短语、完整句子和带标点的结构。