Pytorch_DataLoader涉及内容

DataLoader

torch.utils.data.Dataset
torch.utils.data.DataLoader
     Dataset和DataLoader两个工具类完成数据的加载，
     Dataset    用于构造数据集（数据集能够通过索引取出一条数据）、
     DataLoader 用于取一批次的数据（Pytorch只支持批数据处理）

We use transforms to perform some manipulation of the data and make it suitable for training.
   have two parameters -  transform to modify the features 
                      and target_transform to modify the labels
		ToTensor converts a PIL image or NumPy ndarray into a FloatTensor
		Lambda transforms apply any user-defined lambda function
1.Dataset	 
    two different types of datasets:
        01.map-style datasets,       CLASS torch.utils.data.Dataset(*args, **kwds)
        02.iterable-style datasets.  CLASS torch.utils.data.IterableDataset(*args, **kwds)	 
	 
2.DataLoader(dataset, batch_size=1, shuffle=False, sampler=None,
           batch_sampler=None, num_workers=0, collate_fn=None,
           pin_memory=False, drop_last=False, timeout=0,
           worker_init_fn=None, *, prefetch_factor=2,
           persistent_workers=False)	 

DataLoader类

 dataset    是定义的数据加载类的对象
 batch_size 是每批次数据的大小，通常根据内存等确
 shuffle    是每次加载一批数据时是否将其打乱，在训练时一般设置为True、测试时设置为False
 num_workers是在读取数据时使用的线程数
 collate_fn argument is used to collate lists of samples into batches. 
    When automatic batching is disabled, collate_fn is 
   When automatic batching is enabled, collate_fn
   collate_fn：如何取样本的，我们可以定义自己的函数来准确地实现想要的功能- 将一个list的sample组成一个mini-batch 的函数
       collate_fn (callable, optional): merges a list of samples to form a mini-batch.
        mini-batch_size 的大小来指定一次加载至显存中的图片数量
 返回值
     - dataloader 封装成一个Batch Size大小的Tensor，用于后面的训练
     - dataloader本质是一个可迭代对象，使用iter()访问
     - 使用iter(dataloader)返回的是一个迭代器，然后可以使用next访问

 类似的情况
 torchvision.datasets
 torchvision.transforms
 torchvision.models

Python 语法复习

01.迭代的对象Iterable-可以用for循环的对象）：
  一类：list，tuple，dict，set，str  （list，dict，str是Iterable，但不是Iterator，
                                 要把list，dict，str等Iterable转换为Iterator可以使用iter()函数）
  二类：generator，包含生成器和带yield的generatoe function
       而生成器不但可以作用于for，还可以被next()函数不断调用并返回下一个值，
  	 可以被next()函数不断返回下一个值的对象称为迭代器：Iterator
  	    next(iterator[, default])  -- default -- 可选，用于设置在没有下一个元素时返回该默认值，如果不设置，又没有下一个元素则会触发 StopIteration 异常。
02.zip() 函数用于将可迭代的对象作为参数，
    将对象中对应的元素打包成一个个元组，然后返回由这些元组组成的列表。
     ，利用 * 号操作符，可以将元组解压为列表
     如果各个迭代器的元素个数不一致，则返回列表长度与最短的对象相同


03.#数据类型转换
   # 将numpy数组转化为torch中的tensor：torch.from_numpy()；
   import numpy as np
   a = np.ones(5)
   b = torch.from_numpy(a)	
   
   # # 将torch的tensor转换为numpy数组：.numpy()；；		  tensor --> numpy --> image 
   c = .numpy()
   
   # numpy数组和图片互转 import cv2
   # .npy是numpy 专用的二进制文件
   
   
   import numpy as np
   import cv2
   # 默认的dtype是float64
   arrayexp = np.array([ [[14,7,0],[15,9,0],[48, 40, 27],[ 0,0,0],[ 1,2,0],[ 2,3,1]]
                           ,[[51, 45 ,34],[42, 36, 23],[42, 37, 22],[ 0,0,0],[ 1,2,0],[ 1,2,0]]
                           ,[[42, 39 ,24],[36, 34, 16],[32, 31, 11],[ 1,1,1],[ 1,1,1],[ 1,1,1]]
                           ,[[ 1,2,0],[ 3,4,0],[ 3,4,0],[ 1,1,1],[ 2,3,1],[ 1,2,0]]
                           ,[[ 1,2,0],[ 2,3,0],[ 2,3,0],[ 1,1,1],[ 1,2,0],[ 1,2,0]]
                           ,[[ 2,3,0],[ 2,3,0],[ 3,4,0],[ 2,3,1],[ 1,2,0],[ 1,2,0]]
                         ],dtype=np.uint8)
   print(arrayexp.shape,arrayexp.dtype)
   # 1.起图片名，2.图片本身
   cv2.namedWindow('trans2')
   cv2.imshow('trans2',arrayexp)
   cv2.waitKey(0)
   print("done ！")
   
  # 注意 opencv的像素是BGR顺序，然而matplotlib所遵循的是RGB顺序。 opencv的一个像素为：[B,G,R] ,matplotlib的一个像素为：[R,G,B]

参考

  TORCH.UTILS.DATA  https://pytorch.org/docs/stable/data.html#torch.utils.data.Dataset
  python中的next()以及iter()函数  https://www.cnblogs.com/SupremeBoy/p/12251240.html 
  numpy数组和图片互转  https://blog.csdn.net/sin_404/article/details/115397142

标签：torch,data,DataLoader,Pytorch,涉及,collate,numpy,fn
来源： https://www.cnblogs.com/ytwang/p/15763103.html