文章作者:武卓,张晶
《在英特尔独立显卡上训练TensorFlow模型》介绍了在英特尔独立显卡上训练 TensorFlow 模型的全流程;本文将基于蝰蛇峡谷(Serpent Canyon) 详细介绍如何在英特尔独立显卡上训练 ResNet PyTorch 模型的全流程。
英特尔® 锐炫™ 独立显卡简介
英特尔® 锐炫™ 显卡基于 Xe-HPG 微架构,Xe HPG GPU 中的每个 Xe 内核都配置了一组 256 位矢量引擎,旨在加速传统图形和计算工作负载,以及新的 1024 位矩阵引擎或 Xe 矩阵扩展,旨在加速人工智能工作负载。
蝰蛇峡谷简介
蝰蛇峡谷(Serpent Canyon) 是一款性能强劲,并且体积小巧的高性能迷你主机,搭载全新一代混合架构的第 12 代智能英特尔® 酷睿™ 处理器,并且内置了英特尔® 锐炫™ A770M 独立显卡。
搭建训练 PyTorch 模型的开发环境
Windows 版本要求
在 Windows 上基于英特尔® 独立显卡训练 PyTorch 模型所依赖的软件包 torch-directml 要求:
Windows 10 的版本≥1709
Windows 11 的版本≥21H2
用“Windows logo 键+ R键”启动“运行”窗口,然后输入命令“winver”可以查得 Windows 版本。
下载并安装最新的英特尔显卡驱动
到英特尔官网下载并安装最新的英特尔显卡驱动。驱动下载链接:
https://www.intel.cn/content/www/cn/zh/download/726609/intel-arc-iris-xe-graphics-whql-windows.html
下载并安装Anaconda
下载并安装 Python 虚拟环境和软件包管理工具Anaconda:
https://www.anaconda.com/
安装完毕后,用下面的命令创建并激活虚拟环境pt_a770:
conda create --name pt_a770 python=3.9
conda activate pt_a770
向右滑动查看完整代码
安装 PyTorch
在虚拟环境 pt_a770 中安装 PyTorch 1.13 。需要注意的是:torch-directml 软件包当前只支持 PyTorch 1.13。
pip install torch==1.13.0 torchvision==0.14.0 torchaudio==0.13.0
向右滑动查看完整代码
安装 torch-directml
在虚拟环境 pt_a770 中安装 torch-directml,这是一个在 Windows 平台上的机器学习训练加速软件包。
pip install torch-directml
向右滑动查看完整代码
安装其它支持软件包
在虚拟环境 pt_a770 中安装 opencv-python, numpy, pandas, tensorboard, matplotlib, tqdm, pyyaml, wget 和scipy,这些是辅助训练模型的软件包。
pip install opencv-python numpy pandas tensorboard matplotlib tqdm pyyaml wget scipy
向右滑动查看完整代码
到此,在 Windows 平台上用英特尔独立显卡训练 PyTorch 模型的开发环境配置完毕。
在英特尔独立显卡上训练
PyTorch ResNet50 模型
请下载 pt_training_on_A770.py 并运行:
https://gitee.com/ppov-nuc/training_on_intel_GPU/blob/main/pt_training_on_A770.py
该范例代码使用了 PyTorch 自带的 StanfordCars 数据集和 resnet50 预训练模型。
import torch
import torch_directml
import torch.nn as nn
import torch.optim as optim
import torch.nn.functional as F
from torch.utils.data import DataLoader
from torchvision import datasets, models, transforms
import time
# Set device & Hyperparameters
device = torch_directml.device()
num_classes = 196 # The Cars dataset contains 16,185 images of 196 classes of cars
learning_rate = 1e-3
batch_size = 32
# Step1: Load Flower102 dataset
# https://pytorch.org/vision/stable/generated/torchvision.datasets.StanfordCars.html
data_transforms = {
'train':
transforms.Compose([
transforms.Resize((224,224)),
transforms.RandomAffine(0, shear=10, scale=(0.8,1.2)),
transforms.RandomHorizontalFlip(),
transforms.ToTensor(),
transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
]),
'test':
transforms.Compose([
transforms.Resize((224,224)),
transforms.ToTensor(),
transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
]),
}
train_dataset = datasets.StanfordCars(root="dataset/", split="train", transform=data_transforms["train"], download=True)
train_dataloader = DataLoader(train_dataset, batch_size=batch_size, shuffle=True)
test_dataset = datasets.StanfordCars(root="dataset/", split='test', transform=data_transforms["test"], download=True)
test_dataloader = DataLoader(test_dataset, batch_size=batch_size, shuffle=False)
# Step2: Load Pretrained ResNet50 and add FC layer
model = models.resnet50(weights='DEFAULT').to(device)
for param in model.parameters():
param.requires_grad = False
model.fc = nn.Sequential(
nn.Linear(2048, 256),
nn.ReLU(inplace=True),
nn.Linear(256, num_classes)).to(device)
model.train()
# Step4: define Loss and optimizer
loss_fn = nn.CrossEntropyLoss()
optimizer = optim.Adam(model.parameters(), lr=learning_rate)
# Step5: Train Network
for epoch in range(3):
losses=[]
for batch_idx, (data, targets) in enumerate(train_dataloader):
start_time = time.time()
data = data.to(device)
targets = targets.to(device)
# forward
preds = model(data)
loss = loss_fn(preds, targets)
losses.append(loss)
# backward
optimizer.zero_grad()
loss.backward()
# GSD
optimizer.step()
time_elapsed = time.time() - start_time
print(f"Step:{batch_idx}, elapsed time: {time_elapsed*1000:0.2f}ms; loss is {sum(losses)/len(losses)}.")
向右滑动查看完整代码
运行结果,如下图所示:
总结
英特尔独立显卡不仅支持 TensorFlow 模型,也支持 PyTorch 模型训练。更多训练范例请参考:
https://github.com/microsoft/DirectML