加入星计划,您可以享受以下权益:

  • 创作内容快速变现
  • 行业影响力扩散
  • 作品版权保护
  • 300W+ 专业用户
  • 1.5W+ 优质创作者
  • 5000+ 长期合作伙伴
立即加入
  • 正文
    • 英特尔® 锐炫™ 独立显卡简介
    • 蝰蛇峡谷简介
    • 搭建训练 PyTorch 模型的开发环境
    • 总结
  • 相关推荐
  • 电子产业图谱
申请入驻 产业图谱

在英特尔独立显卡上训练ResNet PyTorch模型

2023/01/18
4538
阅读需 13 分钟
加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论

文章作者:武卓,张晶

《在英特尔独立显卡上训练TensorFlow模型》介绍了在英特尔独立显卡上训练 TensorFlow 模型的全流程;本文将基于蝰蛇峡谷(Serpent Canyon) 详细介绍如何在英特尔独立显卡上训练 ResNet PyTorch 模型的全流程

英特尔® 锐炫™ 独立显卡简介

英特尔® 锐炫™ 显卡基于 Xe-HPG 微架构,Xe HPG GPU  中的每个 Xe 内核都配置了一组 256 位矢量引擎,旨在加速传统图形和计算工作负载,以及新的 1024 位矩阵引擎或 Xe 矩阵扩展,旨在加速人工智能工作负载。

蝰蛇峡谷简介

蝰蛇峡谷(Serpent Canyon) 是一款性能强劲,并且体积小巧的高性能迷你主机,搭载全新一代混合架构的第 12 代智能英特尔® 酷睿™ 处理器,并且内置了英特尔® 锐炫™ A770M 独立显卡。

搭建训练 PyTorch 模型的开发环境

Windows 版本要求

在 Windows 上基于英特尔® 独立显卡训练 PyTorch 模型所依赖的软件包 torch-directml 要求:

Windows 10 的版本≥1709

Windows 11 的版本≥21H2

用“Windows logo 键+ R键”启动“运行”窗口,然后输入命令“winver”可以查得 Windows 版本。

下载并安装最新的英特尔显卡驱动

到英特尔官网下载并安装最新的英特尔显卡驱动。驱动下载链接:

https://www.intel.cn/content/www/cn/zh/download/726609/intel-arc-iris-xe-graphics-whql-windows.html

下载并安装Anaconda

下载并安装 Python 虚拟环境和软件包管理工具Anaconda:

https://www.anaconda.com/

安装完毕后,用下面的命令创建并激活虚拟环境pt_a770:

conda create --name pt_a770 python=3.9conda activate pt_a770

向右滑动查看完整代码

安装 PyTorch

在虚拟环境 pt_a770 中安装 PyTorch 1.13 。需要注意的是:torch-directml 软件包当前只支持 PyTorch 1.13。

pip install torch==1.13.0 torchvision==0.14.0 torchaudio==0.13.0

向右滑动查看完整代码

安装 torch-directml

在虚拟环境 pt_a770 中安装 torch-directml,这是一个在 Windows 平台上的机器学习训练加速软件包。

pip install torch-directml

向右滑动查看完整代码

安装其它支持软件包

在虚拟环境 pt_a770 中安装 opencv-python, numpy, pandas, tensorboard, matplotlib, tqdm, pyyaml, wget 和scipy,这些是辅助训练模型的软件包。

pip install opencv-python numpy pandas tensorboard matplotlib tqdm pyyaml wget scipy

向右滑动查看完整代码

到此,在 Windows 平台上用英特尔独立显卡训练 PyTorch 模型的开发环境配置完毕

在英特尔独立显卡上训练 

PyTorch ResNet50 模型

请下载 pt_training_on_A770.py 并运行:

https://gitee.com/ppov-nuc/training_on_intel_GPU/blob/main/pt_training_on_A770.py

该范例代码使用了 PyTorch 自带的 StanfordCars 数据集和 resnet50 预训练模型。

import torchimport torch_directmlimport torch.nn as nnimport torch.optim as optimimport torch.nn.functional as Ffrom torch.utils.data import DataLoaderfrom torchvision import datasets, models, transformsimport time# Set device & Hyperparametersdevice = torch_directml.device()num_classes = 196   # The Cars dataset contains 16,185 images of 196 classes of carslearning_rate = 1e-3batch_size = 32# Step1: Load Flower102 dataset# https://pytorch.org/vision/stable/generated/torchvision.datasets.StanfordCars.htmldata_transforms = {    'train':    transforms.Compose([        transforms.Resize((224,224)),        transforms.RandomAffine(0, shear=10, scale=(0.8,1.2)),        transforms.RandomHorizontalFlip(),        transforms.ToTensor(),        transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])    ]),    'test':    transforms.Compose([        transforms.Resize((224,224)),        transforms.ToTensor(),        transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])    ]),}train_dataset = datasets.StanfordCars(root="dataset/", split="train", transform=data_transforms["train"], download=True)train_dataloader = DataLoader(train_dataset, batch_size=batch_size, shuffle=True)test_dataset = datasets.StanfordCars(root="dataset/", split='test', transform=data_transforms["test"], download=True)test_dataloader = DataLoader(test_dataset, batch_size=batch_size, shuffle=False)# Step2: Load Pretrained ResNet50 and add FC layermodel = models.resnet50(weights='DEFAULT').to(device)    for param in model.parameters():    param.requires_grad = False   model.fc = nn.Sequential(               nn.Linear(2048, 256),               nn.ReLU(inplace=True),               nn.Linear(256, num_classes)).to(device)model.train()# Step4: define Loss and optimizerloss_fn = nn.CrossEntropyLoss()optimizer = optim.Adam(model.parameters(), lr=learning_rate)# Step5: Train Networkfor epoch in range(3):    losses=[]    for batch_idx, (data, targets) in enumerate(train_dataloader):        start_time = time.time()        data = data.to(device)        targets = targets.to(device)        # forward        preds = model(data)        loss = loss_fn(preds, targets)        losses.append(loss)        # backward        optimizer.zero_grad()        loss.backward()        # GSD        optimizer.step()        time_elapsed = time.time() - start_time        print(f"Step:{batch_idx}, elapsed time: {time_elapsed*1000:0.2f}ms; loss is {sum(losses)/len(losses)}.")

向右滑动查看完整代码

运行结果,如下图所示:

总结

英特尔独立显卡不仅支持 TensorFlow 模型,也支持 PyTorch 模型训练。更多训练范例请参考:

https://github.com/microsoft/DirectML

 

英特尔

英特尔

英特尔在云计算、数据中心、物联网和电脑解决方案方面的创新,为我们所生活的智能互连的数字世界提供支持。

英特尔在云计算、数据中心、物联网和电脑解决方案方面的创新,为我们所生活的智能互连的数字世界提供支持。收起

查看更多

相关推荐

电子产业图谱

英特尔致力于加快智能设备的开发和部署,通过智能多层系统和端到端分析,在智能驾驶、智能零售、智能安防、智能制造等领域,推动企业业务转型,改善人们的生活和工作方式,英特尔驱动物联网变革。