昨夜，高通发布面向数据中心的下一代AI推理优化解决方案，包括基于云端AI芯片Qualcomm AI200和AI250的加速卡及机架。
Qualcomm AI200推出一款专用机架级AI推理解决方案，旨在为大语言模型和多模态模型（LLM、LMM）推理及其他AI工作负载提供更高的内存容量、更低的总拥有成本（TCO）和优化的性能，支持每卡768GB LPDDR。
Qualcomm AI250解决方案将首次采用基于近存计算的创新内存架构，通过提供超过10倍的有效内存带宽和更低的功耗，不仅支持分解式AI推理，还能高效利用硬件资源，同时满足客户对性能和成本的要求。
两种机架解决方案均采用直接液冷以提高热效率，采用PCIe进行纵向扩展，采用以太网进行横向扩展，采用机密计算以确保安全的AI工作负载，机架级功耗为160kW。
