实现性能、效率和成本的优化——亚马逊云科技re:Invent

想要让人人都能跑得起大模型，首先得提升算力，亚马逊云科技有着丰富的芯片自研经验。自2013年推出Azon Nitro系统以来，其推出了五代Nitro系统、提升多种工作负载性能的三代Graviton芯片、用于加速机器学习推理的两代Inferentia芯片，以及用于加速机器学习训练的Trainium芯片。

 在re:Invent上，亚马逊云科技宣布了为其云服务提供基础的多款新硬件，包括新版本的Nitro、新实例类型和基于Arm架构的新一代Graviton 3E芯片。新一代芯片在各类云计算任务上都实现了大幅度的进步。

 应用新处理器的云服务实例是Hpc7g，与当前的C6gn相比，其浮点性能提高了两倍，与Hpc6a相比性能提高了20%，这为HPC工作负载提供了超高的性价比。

 更加令人关注的是AI训练和推理芯片。前不久，应用机器学习训练芯片Trainium的AI专用实例Trn1正式上线，它是第一个具有高达800 Gbps EFA网络带宽的EC2实例，拥有512 GB的高带宽内存，提供高达3.4 petaflops的FP16/BF16计算能力。

 在超大规模集群EC2 UltraClusters中，用户最多可以扩展到多达3万块Trainium，相当于使用一台6.3 exaflops算力的超算。

 旨在为AI推理提供加速的Inf2实例配备了亚马逊自研的最新Inferentia2推理芯片，为运行多达1750亿参数的深度学习大模型进行了专门优化。与当前一代Inf1实例相比，新实例可提供高达4倍的吞吐量，还能降低多达10倍延迟，以最低的成本为Azon EC2上的机器学习推理提供动力。

 值得一提的是，亚马逊云科技为实现更快的芯片迭代速度，在芯片设计和验证中使用了基于云的电子设计自动化，从而使团队能够更快地将芯片提供给客户。

 通过自研芯片，亚马逊云科技在云服务基础设施性能上保持了领先地位，在多种任务上实现了性能、效率和成本的优化。