其他分享
首页 > 其他分享> > pytorch中contiguous()的功能

pytorch中contiguous()的功能

作者:互联网

方法介绍
torch.view()方法对张量改变“形状”其实并没有改变张量在内存中真正的形状。
简单地说,view方法没有拷贝新的张量,没有开辟新内存,与原张量共享内存,只是重新定义了访问张量的规则,使得取出的张量按照我们希望的形状展现。
举例说,如下代码:

t = torch.tensor([[0, 1, 2, 3], [4, 5, 6, 8], [9, 10, 11, 12]])
t2 = t.transpose(0, 1)
print(t2)
tensor([[ 0,  4,  9],
        [ 1,  5, 10],
        [ 2,  6, 11],
        [ 3,  8, 12]])
t3 = t2.view(2, 6)
print(t3)
# 报错原因:改变了形状的t2语义上是4行3列的,在内存中还是跟t一样,没有改变,导致如果按照语义的形状进行view拉伸,数字不连续。
File "E:/.../test3.py", line 109, in <module>
    t3 = t2.view(2, 6)
RuntimeError: view size is not compatible with input tensor's size and stride (at least one dimension spans across two contiguous subspaces). Use .reshape(...) instead.

那怎么办呢?此时torch.contiguous()方法就派上用场了。
看如下代码:

t4 = t.transpose(0, 1)
print(t4)
tensor([[ 0,  4,  9],
        [ 1,  5, 10],
        [ 2,  6, 11],
        [ 3,  8, 12]])
t5 = t4.contiguous()  # 重点说三遍!重点说三遍!重点说三遍!
t6 = t5.view(2, 6)
print(t6)
tensor([[ 0,  4,  9,  1,  5, 10],
        [ 2,  6, 11,  3,  8, 12]])

总结
view只能用在contiguous的variable上。如果在view之前用了transpose, permute等,需要用contiguous()来返回一个contiguous copy。
还有可能的解释是:
有些tensor并不是占用一整块内存,而是由不同的数据块组成,而tensor的view()操作依赖于内存是整块的,这时只需要执行contiguous()这个函数,把tensor变成在内存中连续分布的形式。

判断是否contiguous用**torch.Tensor.is_contiguous()**函数。

torch.contiguous()方法首先拷贝了一份张量在内存中的地址,然后将地址按照形状改变后的张量的语义进行排列。就是说contiguous()方法改变了多维数组在内存中的存储顺序,以便配合view方法使用。

在pytorch的0.4版本中,增加了torch.reshape(), 这与 numpy.reshape 的功能类似。它大致相当于 tensor.contiguous().view()

标签:功能,tensor,contiguous,torch,张量,pytorch,内存,view
来源: https://blog.csdn.net/qq_35037684/article/details/118944312