（本文编译自electronicdesign）
当大多数人想到人工智能（AI）时，他们通常能想到的是能够生成新文本、图像或语音内容的应用。像ChatGPT这样流行的文本应用（在几天内就吸引了超过100万用户）在市场上迅速崛起并被广泛采用。而手机用户则经常使用语音搜索功能。
这些应用有什么共同点呢？它们都依赖于云端来处理AI工作负载。尽管云端生成式AI的成本高昂，但其具有的几乎无限的内存能力和电力容量意味着基于云的应用将继续推动这些流行的生成式AI应用的发展。
然而，令许多设计工程师、嵌入式工程师和数据科学家更为担忧的是，边缘AI应用的爆炸式增长。在边缘设备上执行复杂的生成式AI任务带来了许多新的挑战，如：
实时处理需求
严格的成本要求
有限的内存资源
紧凑的空间要求
强制性的功耗预算
01
挑战1：实时处理需求
AI云最大的缺点之一就是在数据的发送和接收过程中存在延迟。对于像ChatGPT这样的应用来说，这并不是问题，因为用户不会注意到这几秒钟的延迟，他们可以等待几秒钟来完成文本生成。然而，在许多边缘应用中，这种延迟是不可接受的。
例如，在自动驾驶汽车应用中，根据识别到的人和其他车辆等图像来进行转向和制动，做这些攸关生死的决定至关重要。等待与云端通信的延迟是完全不可接受的。边缘AI应用必须能够在数据被收集的边缘位置实时处理数据，以满足这些对时间敏感应用的要求。
02
挑战2：严格的成本要求
对于拥有庞大客户基础的公司而言，使用昂贵的云解决方案来处理其AI工作负载，从财务上而言是合理的。然而，在大多数边缘应用中，成本是一个关键因素，也是市场上打造具有竞争力产品的关键因素。在合理的成本范围内有效增加生成式AI功能，对AI设计师和数据科学家来说将是一个挑战。
例如，在智慧城市应用中，虽然希望为摄像头和电力监控系统增加高级功能，但这些功能必须保持在政府紧张的预算范围内。因此，云方案变得不切实际。低成本边缘AI处理是必需的。
03
挑战3：有限的内存资源
AI云的另一个优势是其具有几乎无限的内存容量，这对于处理像精确文本分析和生成所需的大型数据集特别有用。然而，边缘应用并没有这种奢侈的“条件”，因为它们的内存容量受到尺寸、成本和功耗的限制。在这种资源有限的情况下，如何以最大带宽、高效地利用内存对于边缘应用来说变得至关重要。
04
挑战4：紧凑的空间要求
数据中心位于宽敞的空间内，因此，这些AI应用不会像边缘设计那样经常遇到空间问题。无论是汽车设计中的有限仪表板下空间，还是航空航天应用中的尺寸和重量考虑，边缘设计通常都会遇到实施AI功能的空间限制。
这些设计必须满足对计算和内存资源的特定尺寸要求，以便在边缘高效地处理AI工作负载。
05
挑战5：强制性的功耗预算
功耗预算时基于边缘的设计所面临的最终挑战，可能也是最为关键的。AI云消耗了大量的电力，但由于其可以直接接入电源，所以最终可归结为电力成本。
在边缘AI应用中，电力可能很容易获得。然而，功耗仍然是一个关键因素，因为它在应用的总体成本中可能占比比较高。在电池供电的边缘AI应用中，功耗的重要性更为突出，因为高功耗设备会缩短产品的使用寿命，这成为了一个关键考量因素。
解决边缘AI设计挑战的解决方案
因此，问题就变成了：“工程师如何在实现所需功能的同时，应对这些挑战并开发出成功的边缘AI产品？”需要考虑的五个关键点如下：
01
认识到边缘GPU的局限性
GPU在AI云应用中具有许多优势，其特性与AI云应用的需求高度契合。GPU具有强大的处理能力，AI云应用可以充分利用这一优势，并且GPU能够很好地满足实时处理要求。
然而，在考虑将GPU用于边缘应用时，还需要审视使用GPU的弱点。GPU的成本高于AI加速器，通常高出5倍至10倍，因此它们无法满足边缘AI的成本要求。GPU通常应用于相当大的封装设备和大盒子中，往往无法满足边缘应用的尺寸要求。最后，GPU消耗的功率远高于典型的AI加速器，也很难实现功耗预算。
02
认识到完整软件解决方案的必要性
从历史角度来看，许多AI加速器开发者首先关注芯片设计，这是可以理解的。这仍然是高质量边缘AI解决方案的重要组成部分。然而，由于这些解决方案必须创建和修改软件以适应已经确定的芯片设计，因此它们可能无法充分利用高效AI处理的所有可能方面。
与过去工程设计公司中大多数设计师专注于硬件不同，现在软件工程师的数量远远超过了硬件设计师，这使得软件能力和易用性变得越来越重要。一个出色的整体AI解决方案需要软件开发，使芯片能够尽可能高效地处理AI模型。先设计软件，然后再设计芯片，这样可以得到最佳的AI解决方案。
03
轻松集成到现有系统
虽然一些AI设计可能要从头开始的，但更多时候，设计师们试图将AI功能集成到现有系统中。通过添加AI处理能力，这些现有系统可以在保持相同外观尺寸的同时，为终端用户提供更多功能。
能够与当前设计轻松集成的重要性不言而喻。因此，提供对广泛现有处理器的异构支持的AI解决方案将更容易将AI功能添加到现有设计中。
04
高效的神经网络处理
最终，AI解决方案的整体有效性取决于神经网络能否高效地正确处理AI工作负载。尽管在众多供应商的方案中进行筛选可能颇具挑战性，但了解AI解决方案“内核”的结构和能力至关重要。我们需要了解模型是如何处理的，实施了哪些创新来提高处理效率，以及对比特定模型的处理性能。
05
DRAM的容量和带宽
AI设计中一个经常被忽视的方面是解决方案能够有效利用内存的能力。一些加速器解决方案的片上内存有限或根本没有，这会降低AI处理能力。访问片外内存资源非常耗时，从而会显著增加延迟。
其他解决方案可能具备片上内存，但如果DRAM带宽不够高，访问内存的延迟也会限制AI处理能力。
寻找合适的边缘AI解决方案供应商