自适应计算平台可提供有效的AI加速

人工智能已经开始改变我们生活的许多方面，创造了巨大的社会进步。从无人驾驶汽车到AI辅助医疗诊断，我们正处于真正变革性时代的开始。

但是机遇来了，挑战就来了。AI推理是基于训练有素的机器学习算法进行预测的过程，它要求在不考虑部署位置(云，边缘或端点)的情况下，在紧凑的功率预算下实现高性能处理。人们普遍认为，仅靠CPU不能跟上步伐，需要某种形式的计算加速来更有效地处理AI推理工作负载。

同时，AI算法发展迅速，比传统芯片开发周期的速度更快。诸如AI网络的ASIC实现之类的固定硅芯片有可能由于最先进的AI模型的快速创新而很快被淘汰。

整个应用程序加速

还有另一个鲜为人知的挑战。这围绕着一个事实，即AI推理不会孤立地部署。实际的AI部署通常在AI功能之前和之后都需要非AI处理。例如，可能需要对图像进行解压缩和缩放以适合AI模型的数据输入要求。

这些传统处理功能必须以与AI功能相同的吞吐率运行，并且又要具有高性能和低功耗。像AI推理实现一样，非AI的预处理和后处理功能开始需要某种形式的加速。

仅加速AI是不够的

要构建真实的应用程序，需要有效地实施整个应用程序。在数据中心应用程序中，该应用程序可能具有数千个甚至数百万个并行实例。每个实例可节省的每瓦特功率的一部分将对整体功耗产生巨大影响

仅当整个应用程序既通过加速满足性能目标，又通过提高效率满足功率要求时，解决方案才可行。那么，我们如何切实地实现整个应用程序加速呢?

有三个关键要素：建立自定义数据路径的能力;使用单设备实现;以及随着最新AI模型的不断发展和完善而利用最新AI模型的能力。让我们看一下这三个元素。

建立自定义数据路径的能力

大多数形式的AI推理都对流数据进行操作。数据通常是动态的，例如视频馈送的一部分，正在处理的医学图像或正在分析的网络流量。即使将数据存储在磁盘上，也会从磁盘上读取数据并通过“ AI应用程序”进行流处理。

定制数据路径为处理此类数据流提供了最有效的方法。定制的数据路径使应用程序摆脱了传统的Von-Neuman CPU体系结构的限制，在传统的Von-Neuman CPU体系结构中，从内存中以小块读取数据，然后对数据进行操作并将其写回到内存中。相反，自定义数据路径将数据从一个处理引擎传递到下一处理引擎，并且延迟时间短且性能水平合适。太低的处理性能将无法满足应用程序的要求。过多的性能将导致效率低下–闲置的功能会浪费电源或物理空间。定制数据路径提供了完美的平衡，为应用程序的实现调整了权限。

单设备实施

一些解决方案擅长AI推理，但不擅长整个应用程序处理。诸如GPU之类的固定架构设备通常属于此类。GPU通常能够实现每秒较高的Tera操作数(TOP)，这是一种常见的性能指标，但是AI推理性能通常需要与预处理和后处理性能相匹配。如果非AI组件无法在同一GPU上有效实现，则需要多设备解决方案。通过要求在设备之间发送数据，这浪费了功率，这在功率消耗方面是非常低效且昂贵的。可以有效实现整个应用程序的单个设备在实际的AI推理部署中具有显着的优势。

适应和发展最新的AI模型

人工智能的创新步伐惊人。从现在起六个月后，可以轻松地将当今所谓的最新技术水平淘汰。使用较旧模型的应用程序可能会失去竞争力，因此快速实现最新模型的能力至关重要。

那么，什么技术可以动态更新AI模型，同时提供构建自定义数据路径的能力，从而在单个设备中加速AI和非AI处理?答案是自适应计算平台。

自适应计算平台

自适应计算平台基于可在制造后动态重新配置的硬件。这包括诸如FPGA之类的长期技术，以及诸如Xilinx的AI Engine之类的最新创新。诸如Xilinx的Versal™自适应计算加速平台之类的单设备平台可通过允许构建自定义数据路径来加速AI和非AI处理功能。他们还能够快速高效地实施最新的AI模型，因为可以快速重新配置硬件。自适应计算设备提供了两全其美的优势。它们提供了定制ASIC的效率优势，而无需冗长且昂贵的设计周期。

AI应用程序的最佳实现不一定是最快的，它必须是最高效的，而且要保持灵活性。它的大小必须正确，并能提供所需的性能，仅此而已。

摘要

随着AI推理变得越来越普遍，挑战不仅在于如何部署AI模型，还在于如何最有效地部署整个AI应用程序。当应用程序被复制成千上万甚至数百万次时，每个实例的少量节能可以节省整个电站的能源价值。

当您将其乘以大量正在开发的新AI应用程序时，效果将是巨大的。毫无疑问，整个AI应用程序的有效加速应该是技术行业中所有人的目标，而自适应计算平台将提供有竞争力的解决方案。