首先看下不同类型AI做事器的比较，从左上方到右下角依次是CPU、GPU、FPGA、TPU、ASIC，从横轴来看，越往右性能(Performance)越好。

纵轴Programmability/Flexibility是指做事器的可编程性和灵巧性， ASIC的性能最好，由于它是将算法固化在芯片上，算法是比较固定的，以是它的性能最好的，但是它的编程性和灵巧性就相比拟较弱。
而CPU的灵巧性和编程性最好，但性能最弱。

总的来说，GPU的灵巧性比CPU弱，但它的性能更好。
往下依次是FPGA、TPU以及ASIC。

在实际选择时须要考虑到功耗、本钱、性能、实时性等各方面成分，尤其是一些具有专用目的的处理器，如果算法已经固化并且很大略，可以考虑ASIC，由于ASIC性能好且功耗低。
如果是在演习或者通用情形下，GPU则是更好的选择。

选择GPU做事器的基本原则

在先容选择GPU做事器的基本原则之前，先来跟大家先容下常见的GPU和GPU做事器。

常见的GPU，按总线接口类型可以分为NV-Link接口、传统总线接口以及传统PCI-e总线三种。

NV-Link接口类型的GPU范例代表是NVIDIA V100，采取SXM2接口，在DGX-2上有SXM3的接口。

NV-Link总线标准的GPU做事器可以分为两类，一类是NVIDIA公司设计的DGX超级打算机，另一类是互助伙伴设计的NV-Link接口的做事器。
DGX超级打算机不仅仅供应硬件，还有干系的软件和做事。

传统总线接口的GPU，目前主流的有这几款产品，比如采取了PCI-e接口的V100、 P40(P开头指的是上一代PASCAL架构)和P4，以及最新的图灵架构T4等。
个中比较薄和只占一个槽位的P4和T4，常日用于Inference，目前也已经有成熟的模型进行推理和识别。

传统PCI-e总线的GPU做事器也分为两类，一类是OEM做事器，比如曙光、浪潮、华为等其他国际品牌；另一类是非OEM的做事器，也包括很多种类。

选择做事器时除了分类，还要考虑性能指标，比如精度、显存类型、显存容量以及功耗等，同时也会有一些做事器是须要水冷、降噪或者对温度、移动性等等方面有分外的哀求，就须要分外的做事器。

选择GPU做事器时首先要考虑业务需求来选择适宜的GPU型号。
在HPC高性能打算中还须要根据精度来选择，比如有的高性能打算须要双精度，这时如果利用P40或者P4就不得当，只能利用V100或者P100；同时也会对显存容量有哀求，比如石油或石化勘探类的打算运用对显存哀求比较高；还有些对总线标准有哀求，因此选择GPU型号要先看业务需求。

GPU做事器人工智能领域的运用也比较多。

GPU做事器的紧张运用处景

海量打算处理

GPU 做事器超强的打算功能可运用于海量数据处理方面的运算，如搜索、大数据推举、智能输入法等：

• 原来须要数天完成的数据量，采取 GPU 做事器在数小时内即可完成运算。

• 原来须要数十台 CPU 做事器共同运算集群，采取单台 GPU 做事器可完成。

深度学习模型

GPU做事器可作为深度学习演习的平台：

1.GPU 做事器可直接加速打算做事，亦可直接与外界连接通信。

2.GPU 做事器和云做事器搭配利用，云做事器为主 GPU 云做事器供应打算平台。

3.工具存储 COS 可以为 GPU 做事器供应大数据量的云存储做事。

当GPU型号选定后，再考虑用什么样GPU的做事器。
这时我们须要考虑以下几种情形：

第一、在边缘做事器上须要根据量来选择T4或者P4等相应的做事器，同时也要考虑做事器的利用场景，比如火车站卡口、机场卡口或者公安卡口等；在中央端做Inference时可能须要V100的做事器，须要考虑吞吐量以及利用场景、数量等。

第二、须要考虑客户本身利用人群和IT运维能力，对付BAT这类大公司来说，他们自己的运营能力比较强，这时会选择通用的PCI-e做事器；而对付一些IT运维能力不那么强的客户，他们更关注数字以及数据标注等，我们称这类人为数据科学家，选择GPU做事器的标准也会有所不同。

第三、须要考虑配套软件和做事的代价。

第四、要考虑整体GPU集群系统的成熟程度以及工程效率，比如像DGX这种GPU一体化的超级打算机，它有非常成熟的从底真个操作系统驱动Docker到其他部分都是固定且优化过的，这时效率就比较高。