基于昇腾910B训练万亿参数的语言模型Abstract在本工作中,作者开发了一个系统,该系统在Ascend 910 AI
国内外主流GPU卡性能分析!2024!大模型兴起助推算力需求激增2024年,深度学习与人工智能技术飞速跃进,Transf
安全可靠CPU测评结果(飞腾篇)中国信息安全测评中心公告(2024年第1号):公布依据《安全可靠测评工作指南(试行)》得
部署大模型应用(如训练、微调、RAG)时,前期硬件选型至关重要。即使已有方案,缺乏实践经验可能导致硬件评估困难。本文提供
揭秘 Tensor Core 底层:如何让AI计算速度飞跃Tensor Core,加速深度学习计算的利器,专用于高效执行
生成式AI的GPU网络引言:超大规模企业竞相部署拥有64K+ GPU的大型集群,以支撑各种生成式AI训练需求。尽管庞大T
微服务架构设计模式详解(5种主流模式)微服务架构微服务,一种革命性的架构模式,主张将大型应用分解为若干小服务,通过轻量级
软件定义硬件架构AI 应用正促使芯片制造商和 OEM 重新审视重新配置硬件的可能性。摩尔定律放缓,软件应用复杂性和规模激
软件架构全面详解软件架构这个与建筑设计架构类似,建筑设计架构师负责设计建筑物的整体结构、布局和功能分配。而软件架构师,负
超万卡集群的核心设计原则和架构超万卡集群建设方兴未艾,当前主要依托英伟达GPU及其设备。英伟达GPU在大模型训练中表现卓
linux的5种IO模型一、这里IO是什么操作系统设有用户态与内核态,确保系统安全。应用程序默认在用户态运行,而执行如I
万卡 GPU 集群互联:硬件配置和网络设计一、背景自从 OpenAI 推出 ChatGPT 以来,LLM 迅速成为焦点关
如何选择与部署适合的高性能负载均衡方案?当单服务器性能无法满足需求,高性能集群便成为提升系统处理能力的关键。其核心在于通
数据中心、HPC领域、AI领域等场景互联协议混战当前,数据中心、高性能计算及AI领域正面临全新数据设备互联协议标准的激烈
数据中心大型AI模型网络需求随着Transformer的崛起和2023年ChatGPT的大规模应用,业界逐渐形成共识:遵
高性能GPU服务器硬件拓扑与集群组网01、术语与基础大模型训练常采用8卡GPU集群,涵盖A100、A800、H100、H
前言微服务是一种软件设计、架构思想。当然,里面也包含了相关技术点要解决当前要务。学习微服务,我们不能空口而谈,一定要落实
在微服务架构日益盛行的今天,API Gateway(API网关)已成为其中不可或缺的一部分。API Gateway不仅作
大模型系列之解读MoEMixtral 8x7B的亮相,引领我们深入探索MoE大模型架构的奥秘。MoE究竟是什么?一起揭开
国内 AI大模型产业发展深度分析 2024人工智能技术的迅猛发展,使AI大模型成为科技竞争的核心、产业变革的先锋、经济增
签名:薪科技评说,发现技术的点滴,记录科学的飞跃!