云边AI的必然
云边AI是指把AI大模型和算法在云端训练和优化后，部署到边缘设备上运行，从而【ér】将AI能力融入终端设备。在前期【qī】的【de】AI发展中，云端计算平台凭借其强大的计算能力和能够集中存储和处理方式大规模数据的特点，发挥了重要的作用，但随着边【biān】缘计算和物联网技术的兴起，云边AI替【tì】代云端AI会成为一种趋势和必然。
边缘计算能够将计算和存储能力更接近数据来源和终端设备，极大地减少了数据传输和延迟，减少了网络压【yā】力提高了响应速度，这使得在边缘设备上实施AI算法【fǎ】和决策成为可【kě】能。并且，一些敏感数【shù】据和隐私数据可能不舒服合直接上传到云端进行处理方式。通过在边缘设备上进行处理方式，可以减少数据在传输过程中的风【fēng】险，提升数据的隐私和安全性性。此外，物联网技术的兴起意味着越来越多的设备将与互联网连接，并产生海量的数据，处理方式这些分布在各个边缘节点的数据，借助边缘计算和物联网技术【shù】，减少了网络带宽和云端主机的负荷的同时也降低了对网络【luò】环境的依赖，使得终端【duān】设备执行AI能力更加的高效和可行。因此，云边AI替代【dài】云端AI是必然的趋势，并将在未来的AI发展中成为众多企业的首选。
云边AI的硬件承载
谈【tán】到AI的硬件承载，我们首先需要了解的是和AI芯片性能相关的重要指标。在这里，我们重点讲解四个指标参【cān】数。
首先是算力，算力是评估芯片【piàn】性能和效率的重要指【zhǐ】标，常见的算力单位包括每秒浮点【diǎn】运算数 FLOPS和每秒万亿次运算数TOPS，更低的有MOPS，即每秒执行的百万次操作数。
其次是神经网络性能，跟软件算法【fǎ】架构、硬件加速器以及参数数量有关，选择合适的【de】软件算法架构可以提高神经网络的性能，例如CNN适用于图像处理方式任务、RNN适用于序列数据处理方式，硬件加速器（如GPU、TPU、NPU等）可【kě】以提高神经网络的计算性能和效率，参数数量可以衡量模型的复杂性和容量，合适的参数数量可以优化神经网络的性能【néng】和预测结果。
再次是能效比，指性能和功耗之间的关系，较高的能效比表示芯片能够在相同计算性能下消耗较【jiào】少的能量【liàng】，减少了能源消耗和发热疑【yí】问。比如运算功耗2 TOPS/W表示该芯片将能够以每瓦特2 TOPS的速度进行计算。
最后【hòu】是存储的容量和带宽【kuān】，高存储带宽可以加快数据传输和访问速度，提高芯片的整体性能，而大容量的可以支持更复杂的模型和数据集。比如【rú】在芯片内嵌MCRAM存储架构，通过将【jiāng】多个存储芯片汇总到一个统一的接口上，实现了存储容量的扩展和高带宽的访问。
AI应用的硬件适配
AI应用对芯片的选择根据具体应用的需求和算法的特【tè】点进行权衡和决【jué】策，综合考虑处理方式能力、能效【xiào】、存储、并行处理方式能力以及可编程性等因素，可以包括CPU、NPU、GPU、DSP、FPGA等。CPU适用于处理方式串行任务和逻辑操作。NPU是专门用于处理方【fāng】式神经网络计算的芯片，可以提供服务高效且低功耗的深度【dù】学【xué】习计算能力【lì】。GPU是具备较强并行处【chù】理方式能力的芯片，适用于对大规模数据进行并行计算的AI任务【wù】，例如深度学习中的神经网络训练和推理。DSP适用于音频、语音处理方式和移动设备等嵌入式AI场景。而FPGA则适用于高性能计算、加速器设计和优化以及快速原型开发等需要定制硬件和高度灵活性的AI应用。
为了更直观地展示不同硬件和AI应用的匹配性，本文随机选了6款不同芯片【piàn】的特性进行说【shuō】明。
第一款芯片为通用CPU：“双核Cortex-A7 SMP架构，每个内核内嵌NEON向量处理【lǐ】方式单元以及32KB的L1指令缓存和数据缓存，工作频率最高【gāo】可达1GHz，具有128位的AXI矩阵总线”。此芯【xīn】片虽然带有L1缓存和NEON指令集，但是缓存相对较小，只适合处理方式一些轻量级的任【rèn】务和小型模型，1GHz的主频和AXI矩阵总线在高速数据传输方面有优势，根据以上信息此款芯片【piàn】适合较简单的图形处理方式任务、语音识别任务，以及规模较小且计算需求相对较低文本分类或情感分析模型。
第二款芯片为低端NPU：“4个支持NT8（8位整数）计算的Multiply-Accumulate单元，在12MHz的时钟频率下能够提供服务96 MOPS的性能，同时带有低【dī】功耗神经网络处理方式单元LP_NPU”。此芯片性能较低，不舒服合处理方【fāng】式大型模型和算法，可用于低功耗、边缘设【shè】备或嵌入式设备，用于处理方式轻量级的AI应用，包括如图像和视觉识别、语音和音频处理方式、自【zì】然语言处理方式、智能物联网控制等。
第三款芯片为第二款的升级版：“具有4.0~8.0 TOPS @ INT8的算力和20 TOPS/W的能效”。此芯片能效适合处理方式较大的神经网络模型和算法，特【tè】别是那些需要高计算密集度的任务。这样的算力和能效可以应对较为复杂的深度学【xué】习模型，如大规模的卷积神经网络（CNN）、递归神经网络（RNN）和生成对抗网络（GAN）等。同时，高能效性能意味着处理方式器能够以较低的功耗提供服务较高的计算性能，适合在资源受限的环境中运行【háng】大型模型和算法。所以此芯片可以用于图像、语【yǔ】言、医疗影像以及自动驾驶和机器人相关的AI应用【yòng】。
第四款芯片为存算一体【tǐ】AI芯片：“0.5T OP/Sec，150万参数@Int8，2TOPS/W的能效，MCRAM存储系统。”此芯片适合【hé】一些较小规模的大模型和算法，特别是那些相对较简单或计【jì】算需求较低的任务，比如浅层神经网络处理方式、轻量级的目标检【jiǎn】测和图形处理方式，以及嵌入式设备上的语音识别应用等。
第五款芯片也为存算【suàn】一体AI芯片：“1.6T OP/Sec，700万参数@Int8，2TOPS/W的能效，MCRAM存储系统。”此芯片适合一些特定类型的大模型【xíng】和算法，特别是【shì】针对计算【suàn】密集型任务的应用，包括如大规模的深度神经网络模型、需要进行大量的计算操作的计算密集型任务、高精度数据处理方式和自动驾驶以及机器人等实时推理场景的应用【yòng】。
第六款芯片为中高端AI芯片：“5T OP/Sec，3000万参数@Int8，8TOPS/W的能效，MCRAM存储系统和KORU运算架构。”此款芯片跟前面的芯片相比，适合处理方式更大规模的大模型和算法【fǎ】，具备更高的计算性能，可以适用包括高分辨率图像处理方式、大规模的语言模【mó】型、超大规模的目标检测和图像分割【gē】，以及深度【dù】学习等应用。
边缘AI芯片的发展
随着边缘智能设备需求的不断增加，未来的边缘AI芯片将迎来一个发展高峰。边缘AI芯片的发展方向将不可避免地呈现多元化的趋势，这是由于终端设备和云端业务的【de】差【chà】异性所决定的。边缘AI芯片需要具备【bèi】高效的计算能力和低功耗特性，同时需要有感知处理方式能力和数据加密能力，为【wéi】了更好地实现云边AI混合计算，边缘AI芯片还需要具备稳定可靠的通信和网络连接能力，实现边缘设备与云端的协同工【gōng】作和数【shù】据共享任务。
上一篇： 润欣科技全球最低功耗苹果Findmy方案，功能平替AirTag
