如何获取tiktoken格式的tokenizer

[lwabish]

之前qwen的模型中有tiktoken格式的tokenizer，现在qw2.5的模型中只有tokenizer.json了。我能否进行一些转换得到tiktoken格式的tokenizer呢？
或者老的qwen中的tiktoken是否能否在qw2.5继续匹配使用呢？

[jklj077]

老的qwen中的tiktoken是否能否在qw2.5继续匹配使用呢？

可以的。BPE部分Qwen1.5到Qwen2.5没有变化，所以.tiktoken文件是可以复用的。Qwen2.5多了一些tool calling相关的控制token，但在tiktoken里本来这些都是额外配置的，不在.tiktoken文件里，创建Encoding的时候指定下就好。

我能否进行一些转换得到tiktoken格式的tokenizer呢？

可以，但目前没有必要，用原来的就好。

[lwabish]

十分感谢！之前搜索发现huggingface的transformer库里有convert_tiktoken_to_fast，但是没找到怎么反过来转，如果方便的话想请教下怎么转呢？