在AI浪潮中,模型参数增长和算力堆叠一度成为竞逐焦点。不过站在当下时点 ,当生成式AI开启规模化落地,战场已经转向推理:真实场景中海量数据的瞬间调用 、百万Token的连续推理、长上下文的高效处理,在提升了算力需求的同时,也重新定义了算力基建的价值链 。
在日前的AI基础设施峰会上 ,英伟达发布了全新Rubin CPX GPU。据官方介绍,这颗芯片专为长上下文推理负载设计,是英伟达首颗专为需要一次性处理大量知识(数百万级别Tokens)并进行AI推理的模型构建的芯片。
英伟达称 ,这颗芯片可以为客户带来“前所未有的投资回报率”——每部署价值1亿美元的新芯片,将带来50亿美元收入,投资回报率约50倍 ,远超GB200 NVL72的约10倍回报率。此外,公司宣布GB300 NVL72机架级系统在最新MLPerf推理基准测试中创造了新推理基准记录 。
花旗研究指出,在ASIC竞争加剧的环境下 ,英伟达曾经一年一度的产品发布脚步开始提速,Rubin CPX在产品路线图中“插队 ”,标志着“推理时代”已经到来。
分析师进一步指出 ,Rubin CPX的发布和MLPerf新纪录都展现了英伟达在AI基建领域的持续创新能力。随着AI推理需求、特别是长语境推理需求爆发,英伟达的新品组合有望带动收入显著增长 。
值得注意的是。本周引发全球市场瞩目的甲骨文,也提到了推理市场需求的爆发。
在业绩会上,公司创始人Larry Ellison明确指出 ,AI正从根本上改变甲骨文,AI推理市场将“远大于”AI训练市场,而市场上的推理算力正在被耗尽 。
虽说甲骨文指数级别的订单爆炸性增长 ,以及随之而来对OpenAI依赖性的质疑,让其股价在飙升之后连跌两天。但摩根大通也表示,承认甲骨文在获取OCI业务方面取得了“令人印象深刻的成就” ,并认可其在AI领域的长期潜力。
▌算力基础设施进入长上下文推理新阶段
实际上拉长时间线就能发现,海内外大厂Token调用量已出现明显加速拐点,推理端算力需求快速增长 。
今年5月Google I/O大会的数据显示 ,Google的Token月均调用量从去年4月的9.7万亿增长至今年4月的480万亿,增长50倍。根据微软三季度电话会数据,Azure AI基础设施在今年一季度处理了超100万亿Token ,较去年同期增长5倍,其中3月份单月Token调用量达50万亿。国内互联网大厂来看,今年5月字节火山引擎Token日均调用量为16.4万亿(月均508T),是去年5月的137倍 。
过去一年 ,随着生成式AI进入规模化落地阶段,行业对“长上下文 ”的需求快速上升。无论是企业级知识库问答、代码生成,还是多模态长视频生成 ,均需要模型在极大输入序列下保持推理准确性与计算效率。然而,现有GPU在应对超长上下文时普遍存在内存带宽瓶颈与计算冗余,导致算力利用率不足。
东吴证券指出 ,从产业角度来看,Rubin CPX的推出不仅是英伟达产品线的升级,更意味着海外算力基础设施进入“上下文与生成分工协作”的新阶段 。随着百万Token推理与长视频生成成为AI应用的标配需求 ,硬件和软件的耦合度显著提高,算力产业链的价值量同步上升。无论是GPU 、存储、网络,还是配套的高速PCB、光模块与封装工艺 ,相关厂商都有望深度受益。
买股票要多少钱才可以开户:配资安全炒股配资平台门户网-“最牛赛道”突然跳水!人脑工程概念爆发 航运概念崛起
最安全的杠杆炒股平台官网:广东股票配资开户-国资委:大力实施新一轮找矿突破战略行动 推动以超导材料为代表的新材料产业高质量发展
股票配资平台投资:炒股票要多少钱开户-登顶苹果应用榜!谷歌火遍全网的“纳米香蕉” 凭啥击败ChatGPT?
股票开户固定电话怎么填写:配资炒股平台找加杠网-AIGC短剧爆火 一键生成“短剧新世界”正在加载中
股票配资公司配资:开户买股票哪些平台好-利好来袭!宁德时代:钠新电池推进顺利 明年实现批量供货
十大炒股杠杆平台:开户股票个数-融创中国前5个月销售额约160亿元 正进行二次境外债重组
股票配资网站导航-国内股票配资-配资开户提示:文章来自网络,不代表本站观点。
股票配资网站导航-国内股票配资-配资开户⑯股票配资平台应提供用户友好的交易界面和便捷的交易工具,方便投资者进行交易操作。
记者辛圆3月20日下午,商务部举行例行记者会,发言人何咏前回应了包括扩大对外开放、内外贸一体化以及中日...
在AI技术浪潮汹涌澎湃的当下,从英伟达公司主办的GTC大会到光网络与通信研讨会及博览会(OFC),一系列活动的密集开展,...
界面新闻记者|冯赛琪近日,金元期货(872050.NQ)、福能期货(871101.NQ)两家新三板期货公司相...
界面新闻记者|陈慧东近日,黄金价格一路狂飙,带动黄金概念整体活跃。3月初至今,黄金概念整体指数由11600....
近期美股市场波动显著放大,区域政治风险叠加政策不确定性,或为扰动投资者情绪的核心因素。日前,国海富兰克林基金分析指出,特...
4月9日,隔夜美股三大指数高开低走,科技“七巨头”集体走低,微软跌0.92%,苹果跌4.98%,英伟达跌1.37%,亚马...
央行今日开展285亿元7天逆回购操作,操作利率为1.50%,与此前持平。因今日无逆回购到期,实现净投放285亿元。...
“黑色星期一”如期而至。金融市场在特朗普政府关税政策的持续施压下陷入全面动荡。4月7日早,全球股市全线杀...