首页 > TAG信息列表 > Trainer
transformers 之Trainer对应的数据加载
基础信息说明 本文以Seq2SeqTrainer作为实例，来讨论其模型训练时的数据加载方式 预训练模型：opus-mt-en-zh 数据集：本地数据集 任务：en-zh 机器翻译 数据加载 Trainer的数据加载方式主要分为两种：基于torch.utils.data.Dataset的方式加载 和 基于huggingface自带的Datasets的方式（下文transformers 之Trainer对应的数据加载
基础信息说明 本文以Seq2SeqTrainer作为实例，来讨论其模型训练时的数据加载方式 预训练模型：opus-mt-en-zh 数据集：本地数据集 任务：en-zh 机器翻译 数据加载 Trainer的数据加载方式主要分为两种：基于torch.utils.data.Dataset的方式加载 和 基于huggingface自带的Datasets的方式（下文