tokenizers v1 发布：编码、解码与扩展性实测

Hugging Face 发布 tokenizers v1 预览版，在 Apple M4 Max 上单线程编码速度比 v0.23 快 3 到 30 倍，8 线程扩展效率达 76%。主要改进包括 bitcannon 位流分词、线程本地词缓存、无分配合并循环和批量模型调用，且输出 token ID 与 v0.23 完全一致。