8. PyTorch生态简介

　　由于本人未接触过也并未打算从事图像相关工作，所以只介绍了torchtext生态。有关torchvision和PytorchViseo只是了解了一下并未进行笔记输出。

---

torchtext简介

　　torchtext主要是用于自然语言处理（NLP）的工具包，主要包含四个部分：

• 数据处理工具 torchtext.data.functional、torchtext.data.utils

• 数据集 torchtext.data.datasets

• 词表工具 torchtext.vocab

• 评测指标 torchtext.metrics

 

---

• 构建数据集

　　Field是torchtext中定义数据类型以及转换为张量的指令。

　　torchtext 认为一个样本是由多个字段（文本字段，标签字段）组成，不同的字段可能会有不同的处理方式，所以才会有 Field 抽象。

# 首先构建Field
tokenize = lambda x: x.split()
TEXT = data.Field(sequential=True, tokenize=tokenize, lower=True, fix_length=200)
LABEL = data.Field(sequential=False, use_vocab=False)

　　其中：

​ 　　sequential设置数据是否是顺序表示的；

​ 　　tokenize用于设置将字符串标记为顺序实例的函数

​ 　　lower设置是否将字符串全部转为小写；

　　​ fix_length设置此字段所有实例都将填充到一个固定的长度，方便后续处理；

​ 　　use_vocab设置是否引入Vocab object，如果为False，则需要保证之后输入field中的data都是numerical的

 

# 然后开始构建dataset
from torchtext import data
def get_dataset(csv_data, text_field, label_field, test=False):
    fields = [("id", None), # we won't be needing the id, so we pass in None as the field
                 ("comment_text", text_field), ("toxic", label_field)]       
    examples = []

    if test:
        # 如果为测试集，则不加载label
        for text in tqdm(csv_data['comment_text']):
            examples.append(data.Example.fromlist([None, text, None], fields))
    else:
        for text, label in tqdm(zip(csv_data['comment_text'], csv_data['toxic'])):
            examples.append(data.Example.fromlist([None, text, label], fields))
    return examples, fields

# 使用数据csv_data中有"comment_text"和"toxic"两列，分别对应text和label。
train_data = pd.read_csv('train_toxic_comments.csv')
valid_data = pd.read_csv('valid_toxic_comments.csv')
test_data = pd.read_csv("test_toxic_comments.csv")
TEXT = data.Field(sequential=True, tokenize=tokenize, lower=True)
LABEL = data.Field(sequential=False, use_vocab=False)

# 得到构建Dataset所需的examples和fields
train_examples, train_fields = get_dataset(train_data, TEXT, LABEL)
valid_examples, valid_fields = get_dataset(valid_data, TEXT, LABEL)
test_examples, test_fields = get_dataset(test_data, TEXT, None, test=True)
# 构建Dataset数据集
train = data.Dataset(train_examples, train_fields)
valid = data.Dataset(valid_examples, valid_fields)
test = data.Dataset(test_examples, test_fields)

　　定义Field对象完成后，通过get_dataset函数可以读入数据的文本和标签，将二者（examples）连同field一起送到torchtext.data.Dataset类中，即可完成数据集的构建。

# 查看读入的数据情况：
# 检查keys是否正确
print(train[0].__dict__.keys())
print(test[0].__dict__.keys())
# 抽查内容是否正确
print(train[0].comment_text)

• 词汇表（vocab）

　　将字符串形式的词语（word）转变为数字形式的向量表示（embedding）被称为Word Embedding。

　　在torchtext中可以使用Field自带的build_vocab函数完成词汇表构建。

TEXT.build_vocab(train)

• 数据迭代器

from torchtext.data import Iterator, BucketIterator
# 若只针对训练集构造迭代器
# train_iter = data.BucketIterator(dataset=train, batch_size=8, shuffle=True, sort_within_batch=False, repeat=False)

# 同时对训练集和验证集进行迭代器的构建
train_iter, val_iter = BucketIterator.splits(
        (train, valid), # 构建数据集所需的数据集
        batch_sizes=(8, 8),
        device=-1, # 如果使用gpu，此处将-1更换为GPU的编号
        sort_key=lambda x: len(x.comment_text), # the BucketIterator needs to be told what function it should use to group the data.
        sort_within_batch=False
)

test_iter = Iterator(test, batch_size=8, device=-1, sort=False, sort_within_batch=False)

　　注：torchtext支持只对一个dataset和同时对多个dataset构建数据迭代器。

• 评测指标（metric）

　　常用BLEU (bilingual evaluation understudy) score来评价预测文本和标签文本之间的相似程度。

from torchtext.data.metrics import bleu_score
candidate_corpus = [['My', 'full', 'pytorch', 'test'], ['Another', 'Sentence']]
references_corpus = [[['My', 'full', 'pytorch', 'test'], ['Completely', 'Different']], [['No', 'Match']]]
bleu_score(candidate_corpus, references_corpus)

输出：

0.8408964276313782

 

标签：简介,torchtext,PyTorch,train,examples,text,test,data,生态
来源： https://www.cnblogs.com/5466a/p/16633003.html