其他分享
首页 > 其他分享> > huggingface transformers 预训练模型加载参数设置

huggingface transformers 预训练模型加载参数设置

作者:互联网

说明:

1)proxies:服务器无法直接访问互联网需通过代理访问。

2)cache_dir:model及dadaset文件过大多次容易导致服务器存储过高,手工选择存储位置。

model/tokenizer.from_pretrained('bert-base-chinese', 
                                                      num_labels=32,
                                                      proxies={'https': 'http://10.X.X.X:1080'},
                                                      cache_dir='/run/cahce')

标签:存储,transformers,cache,huggingface,dir,服务器,model,proxies,参数设置
来源: https://blog.csdn.net/ct1976/article/details/123036533