tokenizer.encode（） 与 tokenizer.tokenize（）对比，言简意赅 转 高人讲学

tokenizer.encode（）_不知道起什么名字-CSDN博客_tokenizer.encode

tokenizer.encode("说你跑的挺远",add_special_tokenizerns=False)
相当于

seg=tokenizer.tokenize("说你跑的挺远")
encoder = tokenizer.convert_tokenizerns_to_ids(seg)
 

https://blog.csdn.net/Princeicon/article/details/108052302

标签：108052302,tokenizer,seg,tokenizerns,tokenize,encode
来源： https://blog.csdn.net/studyvcmfc/article/details/120846444