选择具有 GPU 的 EC2 并完成配置－Day 02

需要配置一台电脑来处理接下来所有的服务，因为这是深度学习的应用，所以需要使用到 GPU，而 GPU 的配置十分繁琐，而透过 AWS EC2 来配置的话，只要选择好对应的个体类型与 AMI (Amazon Machine Image)，可以很快的完成主机的配置。关於 EC2 的详细操作，可参考先前的Amazon Elastic Compute Cloud (EC2)，在这里只简单的把画面撷取下来。

首先要确认随选的个体(instance)是否有足够的数量可供使用，因为通常一些比较特别的个体类型，预设未必会提供，需要向 Support Center 发出请求案例 (case)，才可以得到可配置的数量，下图为新加坡地区 EC2 控制台的操作画面，点击左边功能导览列的限制，就会在右手边出现所有 AWS 的限制，输入 instance 进行过滤，就可以得到所有个体的相关限制，我们可以看到随需 G instance 的限制为 768 vCPU。

图 1、检视 EC2 中个体的限制

接下来就可以开始配置一台拥有 GPU 的 EC2，点击左边功能导览列的执行个体，接着在主画面中点击启动执行个体，进入 Step 1: Choose an Amazon Machine Image (AMI)，在搜索文字方块中输入 deep learning ，进行过滤。会出现很多符合这个关键字的 AMI，拉到画面最下方点击 143 results in AWS Marketplace 如下图所示，因为客制化的 AMI 很多是要另外收费的，也就是你用ami要收费，运行ami的个体也要收费，使用 AWS 自己设计的 AMI 通常是不收费的，不过，重点是透过这个步骤你可以看到这个ami的详细介绍。

图 2、检视在 AWS 市集中符合 deep learning 的 AMI

在下图中可以看到这个 AMI 所安装的作业系统－ Amazon Linux 2，已经安装的深度学习套件－TensorFlow, MXNet, PyTorch, and tools like TensorBoard, TensorFlow Serving, and Multi Model Server.跟相关的gpu套件－NVIDIA CUDA, cuDNN, and Intel MKL-DNN。点击最下方的AWS Deep Learning AMI (Amazon Linux 2) product detail page on AWS Marketplace可以看到整个 ami 的详细介绍以及如何在这个 ami 下进行操作。

图 3、检视在 AWS Deep Learning AMI 的内容

下图为 AWS Deep Learning AMI (Amazon Linux 2) 这个镜像的定价画面，通常镜像供应商(Vendor)会提出一个建议的个体，以这个镜像而言，它推荐的是 p3.2xlarge 这个个体类型，但在新加坡地区的定价是每小时 4.234 美元，在考量成本的情况下，选择 g4dn.2xlarge ，每小时 1.052 美元。

• Region: Asia Pacific (Singapore)
• Fulfillment Option: 64-bit (x86) Amazon Machine Image (AMI)
• Software Pricing Details: AWS Deep Learning AMI (Amazon Linux 2) $0 /hr
• Infrastructure Pricing Details: Estimated Infrastructure Cost $1.052 EC2/hr

图 4、计算符合需求的最佳的定价

G4dn 执行个体旨在协助加速机器学习推论和图形密集型工作负载，具有以下特色：

• 第二代 Intel Xeon Scalable (Cascade Lake) 处理器
• NVIDIA T4 Tensor Core GPUs
• 高达 100 Gbps 网路输送量
• 多达 1.8 TB 本机 NVMe 储存

而 g4dn.2xlarge 这个个体的规格是 1 GPU，8 vCPU，32 (GB)记忆体，16 (GB)GPU 记忆体，225执行个体储存体 (GB)。

接下来的配置如下：

• Choose AMI: AWS Deep Learning AMI (Amazon Linux 2) version:49 (64-bit x86)

• Choose Instance Type: g4dn.2xlarge

• Configure Instance:

  • Network : vpc-0cxxxx | Default VPC (default) (可以自己指定)
  • Subnet : No preference (default subnet in any Availability Zone) (可以自己指定)
  • Auto-assign Public IP : Enable

• Add Storage: 200 因为预设已经安装很多套件，所以建议改为 200G 比较够用。

• Add Tags: 可加可不加，通常是用在Cloud watch观察比较方便，我们先不加。

• Configure Security Group: 为提供安全保障，限制进来的连线，因为我们是建置 Web 服务器，所以打开埠号 22 与 80 。

  • Assign a security group: Create a new security group
  • Security group name: ithome2021_web_SG
  • Description: ITHOME Web server Security Group
  • Type: SSH, HTTP
  • Source: Anywhere, Anywhere

• Review: 看一下前述的所有设定，确定无误後就直接按下 Launch

• Key pair 设定: 因为安全考量，AWS要求使用者务必要用密钥对( key pair )的方式来进行连线，因此在启动 EC2 前会要求建立或选择密钥对，下载下来的密钥对钥一定要好好保存，遗失後是没办法再重新下载的。

图 5、AWS EC2 配置检视

参考资料

• Recommended GPU Instances, https://docs.aws.amazon.com/dlami/latest/devguide/gpu.html
• NVIDIA Deep Learning AMI, https://aws.amazon.com/marketplace/pp/prodview-e7zxdqduz4cbs?ref=cns_srchrow
• 现已推出 8211 配有 NVIDIA T4 Tensor Core GPU 的 EC2 实例 (G4), https://aws.amazon.com/cn/blogs/china/now-available-ec2-instances-g4-with-nvidia-t4-tensor-core-gpus/?nc1=b_nrp