群发资讯网

性能5倍于B200!TCO仅1/8!AI芯片黑马获3.5亿美元融资!

当地时间2月24日,美国人工智能(AI)芯片初创公司SambaNova发布了其最新一代的AI芯片SN50,定位是最高效的

当地时间2月24日,美国人工智能(AI)芯片初创公司SambaNova发布了其最新一代的AI芯片SN50,定位是最高效的智能体AI芯片,号称性能比同类芯片快5倍,并可为企业提供降低至原来1/3的总体拥有成本,为扩展快速推理能力和将自主AI代理全面投入生产奠定了强大的基础。SN50将于今年晚些时候开始向客户发货。

同时,SambaNova还宣布宣布已获得来自新老投资者的超过3.5亿美元的投资。以及与英特尔的合作,共同提供高性能、高性价比的AI推理解决方案。

此前,SambaNova 在 2025 年末创下了订单量和收入的新纪录,这反映出全球金融服务、电信、能源和主权部署等领域对可投入生产的 AI 系统的需求正在加速增长。

一、SN50发布:性能是B200的5倍

SambaNova创立于2017年,主要设计和构建集成的软硬件解决方案,旨在从数据中心到边缘运行AI应用和数据密集型应用。SambaNova的AI芯片基于可重构数据流架构(RDU),使应用能够驱动优化的硬件配置,软件不受固定硬件的限制。

虽然GPU在AI模型训练方面表现出色,但这是一个计算量很大的功能;AI推断是一种数据流动和内存优化的挑战,需要不同的架构方法。

为了进行人工智能推理,GPU必须对片外内存进行多次冗余调用。每次内存调用都会增加进程的延迟和能量消耗,这也是GPU需要如此多功耗的原因。

而RDU将给定AI模型的图映射到数据在处理器中移动的最高效路径。这种方法消除了对内存的冗余调用,从而大幅降低了延迟和功耗。

SambaNova最新推出的第五代基于RDU架构的AI芯片——SN50和SambaRack SN50系统,号称是专门为解决“代理推理”挑战而设计的,这也是其他平台所没有的。

据介绍,SN50 的单加速器计算能力是上一代产品的五倍,网络带宽是上一代产品的四倍。它可通过每秒数TB的互连链路连接多达256个加速器,从而缩短首次Token生成时间并支持更大的批处理规模。最终,企业可以部署更大、更具上下文关联性的AI模型,并拥有更高的吞吐量和响应速度,同时保持高性能,并将成本和延迟控制在可控范围内。

该芯片可以提供:

即时 AI 体验:超低延迟为语音助手等下一代企业应用程序提供实时响应。

无与伦比的规模和并发性——以始终如一的高性能支持数千个并发 AI 会话;

突破性的模型容量:三层内存架构可支持 10T+ 参数模型和 10M+ 上下文长度,从而实现更深入的推理和更丰富的输出。

规模化实现最高效率:更高的硬件利用率降低了每个令牌的成本,从而提高了性能和投资回报率;

更智能的内存,更智能的效率:驻留多模型内存和代理缓存优化了三层架构,降低了企业级 AI 部署的基础设施成本。

什么是代理推理?

SambaNova以最近席卷开发界的开源的人工智能代理OpenClaw为例解释道,这个开源的人工智能代理能够将问题拆解成子任务,并通过自然语言直接连接我们的应用和工具来完成这些子任务。

但是即使在今天,当用户使用 ChatGPT 或任何大型语言模型(LLM)界面时,OpenClaw 也会创建简化版的代理循环来解决用户的请求。问题在于它需要对LLM进行一系列单独调用。对于许多用例,比如编码,这会带来典型GPU配置不可接受的延迟,损害开发者的体验。

延迟在GPU上只能略微改善。Anthropic最近为Opus 4.6引入了快速模式,速度提升了2.5倍,但这带来了6倍的严重代价。

此外,这种“快速模式”勉强满足代理推理和这些AI代理提供近实时答案的最低速度要求。如今所有其他硬件解决方案面临的挑战在于,实现这种速度对推理服务提供商来说成本过高或难以扩展。

对代理来说合理的代币经济学

在此背景之下,SN50芯片应运而生。SambaNova称,SN50 RDU为AI推理工作负载提供了无与伦比的超低延迟、高吞吐量和高效功耗性能,从根本上重塑了Token(令牌)生成的经济性。

与Blackwell B200 GPU相比,SN50在代理推理方面实现了5倍的最高速度和超过3倍的吞吐量,这一点在多种型号中得到了显著体现,比如Meta的Llama 3.3 70B,这款开源型号即使在发布多年后仍被广泛使用。

这一令人印象深刻的性能是在SambaRack SN50系统平均仅20千瓦功率下实现的,使机架能够在现有的风冷数据中心中运行。这种性能、效率和可扩展性的结合转化为总拥有成本(TCO)优势,这在市场上对于运行gpt-oss等模型的推理服务提供商来说,节省成本是B200 GPU的8倍。

“全新的 SambaNova SN50 RDU 改变了大规模 AI 推理的代币经济模型。SambaNova 的这款芯片采用现有电源和风冷方式,同时实现了高性能和高吞吐量,正在改变游戏规则,”分析公司 IDC 高性能计算研究副总裁 Peter Rutten 表示。

Cambium Capital联合创始人兼管理合伙人Landon Downs表示:“人工智能正在从软件领域转向基础设施领域。SN50的设计旨在满足现实世界的延迟和经济性要求,这些要求将决定谁能成功地大规模部署智能体人工智能。”

代理缓存

与SN40L RDU类似,SN50 RDU采用分层内存架构,结合了大容量内存、高带宽内存(HBM)和超高速SRAM。这种层级结构使芯片能够承载最大的模型,同时并行运行多个模型。

存在于HBM和SRAM中的模型可以在毫秒内进行热插拔,这对于频繁切换多个模型的代理工作负载来说至关重要。

此外,通过我们的SN50,输入Token可以缓存到内存中,减少预填充处理时间和请求的首次Token时间(TTFT)。结合起来,SambaNova的内存架构成为代理的理想缓存,能够更高效地处理任务。

下一代规模化

SambaRack SN50 结合了 16 颗 SN50 芯片,使每台加速器提供五倍的计算能力和四倍的网络带宽。

互联的SambaRacks可通过多TB每秒互连扩展最多256个加速器,这减少了TTFT并支持更大的批次规模。因此,可以部署吞吐量更高、响应更快的模型。

SN50能够支持当今和未来的最大模型,能够运行多达10万亿个参数的单个模型,其规模和上下文长度高达1000万个Token。

软银在日本的人工智能数据中心部署了SN50

软银集团将成为首家在日本下一代人工智能数据中心部署SN50的客户。此次部署将为亚太地区的主权国家和企业客户提供低延迟推理服务,支持对延迟和吞吐量要求极高的开源和专有前沿模型。

软银集团副总裁兼技术部数据平台战略部负责人丹波博信表示:“借助SN50,我们正在为日本构建一个人工智能推理平台,能够以客户和合作伙伴期望的速度、弹性和自主性为他们提供服务。通过采用SN50作为标准,我们能够按照自己的方式提供世界一流的人工智能服务——拥有最佳GPU集群的性能,但经济效益和控制力却远胜于它们。”

SambaNova表示,SN50 的部署深化了 SambaNova 与软银集团的现有合作关系。软银集团已在该地区部署了 SambaCloud,为开发者提供超高速推理服务。通过将其最新集群部署在 SN50 上,软银将 SambaNova 定位为其自主人工智能计划和未来大规模智能体服务的推理骨干。

二、SambaNova和英特尔计划开展多年合作

SambaNova 和英特尔已达成一项多年战略合作计划,旨在为全球人工智能原生企业、模型提供商、大型企业和政府机构提供高性能、高性价比的人工智能推理解决方案。此次合作将为客户提供一种强大的替代方案,以取代以 GPU 为中心的解决方案,为领先的开源模型提供优化的性能,并实现可预测的吞吐量和总体拥有成本。

作为合作的一部分,英特尔计划对 SambaNova 进行战略投资,以加速推出基于英特尔技术的 AI 云平台。此次合作预计将涵盖三个关键领域:

AI云扩展——SambaNova正在扩展其垂直整合的AI云平台,该平台基于英特尔至强处理器构建,并针对大型语言和多模态模型进行了优化。该平台将提供低延迟、高吞吐量的AI服务,并由参考架构、部署蓝图以及与系统集成商和软件供应商的合作关系提供支持。

集成人工智能基础设施——将 SambaNova 的系统与英特尔的 CPU、加速器和网络技术相结合,为推理、代码生成、多模态应用程序和代理工作流提供可扩展的、可用于生产的推理能力。

市场推广执行——通过英特尔的全球企业、云和合作伙伴渠道进行联合销售和联合营销,以加速人工智能生态系统的普及。

SambaNova 和英特尔携手合作,旨在打造下一代异构 AI 数据中心——整合英特尔至强处理器、英特尔 GPU、英特尔网络和存储以及 SambaNova 系统——以释放数十亿美元的推理市场机遇。

SambaNova联合创始人兼首席执行官Rodrigo Liang表示:“人工智能不再是构建最大模型的竞赛。凭借SN50以及我们与英特尔的深度合作,真正的竞争在于谁能用即时响应、永不卡顿的AI代理点亮整个数据中心,并且成本能够将人工智能从一项实验变成云端最赚钱的引擎。”

英特尔数据中心事业部执行副总裁兼总经理凯沃尔克·凯奇奇安表示:“客户希望获得更多选择,并找到更高效的AI扩展方式。通过将英特尔在计算、网络和内存领域的领先地位与SambaNova的全栈AI系统和推理云平台相结合,我们为寻求GPU替代方案以大规模部署高级AI的企业提供了一个极具吸引力的选择。”

三、Vista和Cambium领投,SambaNova获得3.5亿美元融资

SambaNova表示,本轮 E 轮融资超额认购,由 Vista Equity Partners 和 Cambium Capital 领投,Intel Capital(英特尔资本)也积极参与。

本轮新投资者包括:Assam Ventures、Battery Ventures、Gulf Development Public Company Limited、Mayfield Capital、Saudi First Data、Seligman Ventures 以及 T. Rowe Price Associates, Inc. 提供咨询服务的账户。参与本轮融资的现有投资者包括:A&E、8Square、Atlantic Bridge、BlackRock、GV、Nepenthe、Nuri Capital 和 Redline Capital。

“随着智能体工作负载的扩展,企业发现,针对训练优化的基础设施难以满足生产环境的延迟和成本要求,我们很荣幸能在 SambaNova 发展的关键时期对其进行投资,”Vista Capital 合伙人 Monti Saroya 表示。“SN50 专为智能体 AI 系统而设计,能够协调多个模型并近乎实时地处理请求,其效率远高于传统的以 GPU 为中心的系统。”

据了解,SambaNova该轮融资所得款项将用于扩大 SN50 的生产规模、扩展 SambaCloud 以及深化企业软件集成。

编辑:芯智讯-浪客剑