文章
文章用户文档快讯圈子网址导航

PyTorch深度学习60分钟入门与实战（五） 选读：数据并行处理

释放双眼，带上耳机，听听看~！

摘自：https://github.com/bat67/Deep-Learning-with-PyTorch-A-60-Minute-Blitz-cn
嘤嘤嘤求star~，最新版也会首先更新在github上
有误的地方拜托大家指出~

选读：数据并行处理

在这个教程里，我们将学习如何使用数据并行（DataParallel）来使用多GPU。

PyTorch非常容易的就可以使用GPU，可以用如下方式把一个模型放到GPU上：



1
2
3
4
1device = torch.device("cuda：0")

2model.to(device)

3

4

然后可以复制所有的张量到GPU上：



1
2
3
1mytensor = my_tensor.to(device)

2

3

请注意，调用my_tensor.to(device)返回一个GPU上的my_tensor副本，而不是重写my_tensor。我们需要把它赋值给一个新的张量并在GPU上使用这个张量。

在多GPU上执行前向和反向传播是自然而然的事。然而，PyTorch默认将只是用一个GPU。你可以使用DataParallel让模型并行运行来轻易的让你的操作在多个GPU上运行。



1
2
3
1model = nn.DataParallel(model)

2

3

这是这篇教程背后的核心，我们接下来将更详细的介绍它。

导入和参数

导入PyTorch模块和定义参数。



1
2
3
4
5
6
7
8
9
10
11
12
1import torch

2import torch.nn as nn

3from torch.utils.data import Dataset, DataLoader

4

5# Parameters and DataLoaders

6input_size = 5

7output_size = 2

8

9batch_size = 30

10data_size = 100

11

12

设备（Device）：



1
2
3
1device = torch.device("cuda：0" if torch.cuda.is_available() else "cpu")

2

3

虚拟数据集

要制作一个虚拟（随机）数据集，只需实现__getitem__。



1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
1class RandomDataset(Dataset)：

2

3    def __init__(self, size, length)：

4        self.len = length

5        self.data = torch.randn(length, size)

6

7    def __getitem__(self, index)：

8        return self.data[index]

9

10    def __len__(self)：

11        return self.len

12

13rand_loader = DataLoader(dataset=RandomDataset(input_size, data_size),

14                         batch_size=batch_size, shuffle=True)

15

16

简单模型

作为演示，我们的模型只接受一个输入，执行一个线性操作，然后得到结果。然而，你能在任何模型（CNN，RNN，Capsule Net等）上使用DataParallel。

我们在模型内部放置了一条打印语句来检测输入和输出向量的大小。请注意批等级为0时打印的内容。



1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
1class Model(nn.Module)：

2    # Our model

3

4    def __init__(self, input_size, output_size)：

5        super(Model, self).__init__()

6        self.fc = nn.Linear(input_size, output_size)

7

8    def forward(self, input)：

9        output = self.fc(input)

10        print("\tIn Model： input size", input.size(),

11              "output size", output.size())

12

13        return output

14

15

创建一个模型和数据并行

这是本教程的核心部分。首先，我们需要创建一个模型实例和检测我们是否有多个GPU。如果我们有多个GPU，我们使用nn.DataParallel来包装我们的模型。然后通过model.to(device)把模型放到GPU上。



1
2
3
4
5
6
7
8
9
1model = Model(input_size, output_size)

2if torch.cuda.device_count() > 1：

3  print("Let's use", torch.cuda.device_count(), "GPUs!")

4  # dim = 0 [30, xxx] -> [10, ...], [10, ...], [10, ...] on 3 GPUs

5  model = nn.DataParallel(model)

6

7model.to(device)

8

9

输出：



1
2
3
1Let's use 2 GPUs!

2

3

运行模型

现在我们可以看输入和输出张量的大小。



1
2
3
4
5
6
7
1for data in rand_loader：

2    input = data.to(device)

3    output = model(input)

4    print("Outside： input size", input.size(),

5          "output_size", output.size())

6

7

输出：



1
2
3
4
5
6
7
8
9
10
11
12
13
14
1In Model： input size torch.Size([15, 5]) output size torch.Size([15, 2])

2        In Model： input size torch.Size([15, 5]) output size torch.Size([15, 2])

3Outside： input size torch.Size([30, 5]) output_size torch.Size([30, 2])

4        In Model： input size torch.Size([15, 5]) output size torch.Size([15, 2])

5        In Model： input size torch.Size([15, 5]) output size torch.Size([15, 2])

6Outside： input size torch.Size([30, 5]) output_size torch.Size([30, 2])

7        In Model： input size torch.Size([15, 5]) output size torch.Size([15, 2])

8        In Model： input size torch.Size([15, 5]) output size torch.Size([15, 2])

9Outside： input size torch.Size([30, 5]) output_size torch.Size([30, 2])

10        In Model： input size torch.Size([5, 5]) output size torch.Size([5, 2])

11        In Model： input size torch.Size([5, 5]) output size torch.Size([5, 2])

12Outside： input size torch.Size([10, 5]) output_size torch.Size([10, 2])

13

14

结果

当我们对30个输入和输出进行批处理时，我们和期望的一样得到30个输入和30个输出，但是若有多个GPU，会得到如下的结果。

2个GPU

若有2个GPU，将看到：



1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
1# on 2 GPUs

2Let's use 2 GPUs!

3    In Model： input size torch.Size([15, 5]) output size torch.Size([15, 2])

4    In Model： input size torch.Size([15, 5]) output size torch.Size([15, 2])

5Outside： input size torch.Size([30, 5]) output_size torch.Size([30, 2])

6    In Model： input size torch.Size([15, 5]) output size torch.Size([15, 2])

7    In Model： input size torch.Size([15, 5]) output size torch.Size([15, 2])

8Outside： input size torch.Size([30, 5]) output_size torch.Size([30, 2])

9    In Model： input size torch.Size([15, 5]) output size torch.Size([15, 2])

10    In Model： input size torch.Size([15, 5]) output size torch.Size([15, 2])

11Outside： input size torch.Size([30, 5]) output_size torch.Size([30, 2])

12    In Model： input size torch.Size([5, 5]) output size torch.Size([5, 2])

13    In Model： input size torch.Size([5, 5]) output size torch.Size([5, 2])

14Outside： input size torch.Size([10, 5]) output_size torch.Size([10, 2])

15

16

3个GPU

若有3个GPU，将看到：



1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
1Let's use 3 GPUs!

2    In Model： input size torch.Size([10, 5]) output size torch.Size([10, 2])

3    In Model： input size torch.Size([10, 5]) output size torch.Size([10, 2])

4    In Model： input size torch.Size([10, 5]) output size torch.Size([10, 2])

5Outside： input size torch.Size([30, 5]) output_size torch.Size([30, 2])

6    In Model： input size torch.Size([10, 5]) output size torch.Size([10, 2])

7    In Model： input size torch.Size([10, 5]) output size torch.Size([10, 2])

8    In Model： input size torch.Size([10, 5]) output size torch.Size([10, 2])

9Outside： input size torch.Size([30, 5]) output_size torch.Size([30, 2])

10    In Model： input size torch.Size([10, 5]) output size torch.Size([10, 2])

11    In Model： input size torch.Size([10, 5]) output size torch.Size([10, 2])

12    In Model： input size torch.Size([10, 5]) output size torch.Size([10, 2])

13Outside： input size torch.Size([30, 5]) output_size torch.Size([30, 2])

14    In Model： input size torch.Size([4, 5]) output size torch.Size([4, 2])

15    In Model： input size torch.Size([4, 5]) output size torch.Size([4, 2])

16    In Model： input size torch.Size([2, 5]) output size torch.Size([2, 2])

17Outside： input size torch.Size([10, 5]) output_size torch.Size([10, 2])

18

19

8个GPU

若有8个GPU，将看到：



1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
1Let's use 8 GPUs!

2    In Model： input size torch.Size([4, 5]) output size torch.Size([4, 2])

3    In Model： input size torch.Size([4, 5]) output size torch.Size([4, 2])

4    In Model： input size torch.Size([2, 5]) output size torch.Size([2, 2])

5    In Model： input size torch.Size([4, 5]) output size torch.Size([4, 2])

6    In Model： input size torch.Size([4, 5]) output size torch.Size([4, 2])

7    In Model： input size torch.Size([4, 5]) output size torch.Size([4, 2])

8    In Model： input size torch.Size([4, 5]) output size torch.Size([4, 2])

9    In Model： input size torch.Size([4, 5]) output size torch.Size([4, 2])

10Outside： input size torch.Size([30, 5]) output_size torch.Size([30, 2])

11    In Model： input size torch.Size([4, 5]) output size torch.Size([4, 2])

12    In Model： input size torch.Size([4, 5]) output size torch.Size([4, 2])

13    In Model： input size torch.Size([4, 5]) output size torch.Size([4, 2])

14    In Model： input size torch.Size([4, 5]) output size torch.Size([4, 2])

15    In Model： input size torch.Size([4, 5]) output size torch.Size([4, 2])

16    In Model： input size torch.Size([4, 5]) output size torch.Size([4, 2])

17    In Model： input size torch.Size([2, 5]) output size torch.Size([2, 2])

18    In Model： input size torch.Size([4, 5]) output size torch.Size([4, 2])

19Outside： input size torch.Size([30, 5]) output_size torch.Size([30, 2])

20    In Model： input size torch.Size([4, 5]) output size torch.Size([4, 2])

21    In Model： input size torch.Size([4, 5]) output size torch.Size([4, 2])

22    In Model： input size torch.Size([4, 5]) output size torch.Size([4, 2])

23    In Model： input size torch.Size([4, 5]) output size torch.Size([4, 2])

24    In Model： input size torch.Size([4, 5]) output size torch.Size([4, 2])

25    In Model： input size torch.Size([4, 5]) output size torch.Size([4, 2])

26    In Model： input size torch.Size([4, 5]) output size torch.Size([4, 2])

27    In Model： input size torch.Size([2, 5]) output size torch.Size([2, 2])

28Outside： input size torch.Size([30, 5]) output_size torch.Size([30, 2])

29    In Model： input size torch.Size([2, 5]) output size torch.Size([2, 2])

30    In Model： input size torch.Size([2, 5]) output size torch.Size([2, 2])

31    In Model： input size torch.Size([2, 5]) output size torch.Size([2, 2])

32    In Model： input size torch.Size([2, 5]) output size torch.Size([2, 2])

33    In Model： input size torch.Size([2, 5]) output size torch.Size([2, 2])

34Outside： input size torch.Size([10, 5]) output_size torch.Size([10, 2])

35

36

总结

DataParallel自动的划分数据，并将作业发送到多个GPU上的多个模型。在每个模型完成作业后，DataParallel收集并合并结果返回给你。

更多信息，请参考：http://pytorch.org/tutorials/beginner/former_torchies/parallelism_tutorial.html

Related posts:

  1. Caffe深度学习入门（3）——配置caffe-SSD详细步骤以及填坑笔记
  2. 基于深度学习的推荐(四)：阿里DIN，使用Attention获得用户的动态representation
  3. 各种编程语言的深度学习库整理
  4. 自然语言处理之word2vec

给TA打赏
共{{data.count}}人
人已打赏
[db:标签]python数据
安全运维

基于spring boot和mongodb打造一套完整的权限架构（二）【MAVEN依赖以及相应配置】

2021-12-11 11:36:11

安全运维

Ubuntu上NFS的安装配置

2021-12-19 17:36:11

猜你喜欢

自然语言处理之word2vec

011
❯

解锁会员权限

开通会员

解锁海量优质VIP资源

立刻开通
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索

  • 扫码打开当前页

返回顶部