8000万美元融资背后：AI算力利用率仅30%，异构计算如何破解万亿级浪费？

本文为智脑时代在微信公众号智脑IMG发布的原创文章。原文链接：http://mp.weixin.qq.com/s?__biz=Mzk4ODA3MjU3MA==&mid=2247493574&idx=3&sn=b3c1eff8110098cf877bce84b512442e&chksm=c58878d3f2fff1c5ad14070bcc990f4e683114b81d06bd08392cae027549ea6f2032caad3aa8#rd

核心观点

智能体创建、运营及融资
Imagine and engineer our world together 👆点击上方蓝字关注🔔
当前AI应用的硬件利用率仅在15%到30%之间徘徊。这意味着，每投入100元的显卡成本，有70-85元在空转中白白浪费。
就在上周，斯坦福大学兼职教授、连续创业者Zain Asgar创立的Gimlet Labs宣布完成8000万美元A轮融资，由Menlo Ventures领投。这家公司声称打造了首个“多芯片推理云”，能够将AI工作负载同时分配到不同类型的硬件上运行——从传统CPU到AI优化的GPU，再到高内存系统。
“换个角度思考：你正在浪费数千亿美元，因为你只是让闲置资源白白闲置。”Asgar在接受TechCrunch采访时直言不讳。
麦肯锡的最新研究报告显示，如果当前“部署更多计算”的趋势持续下去，到2030年数据中心支出将达到近7万亿美元。然而，现实情况是，这些昂贵的硬件大部分时间都处于闲置状态。

全文

智能体创建、运营及融资

Imagine and engineer our world together 👆点击上方蓝字关注🔔

当前AI应用的硬件利用率仅在15%到30%之间徘徊。这意味着，每投入100元的显卡成本，有70-85元在空转中白白浪费。

就在上周，斯坦福大学兼职教授、连续创业者Zain Asgar创立的Gimlet Labs宣布完成8000万美元A轮融资，由Menlo Ventures领投。这家公司声称打造了首个“多芯片推理云”，能够将AI工作负载同时分配到不同类型的硬件上运行——从传统CPU到AI优化的GPU，再到高内存系统。

“换个角度思考：你正在浪费数千亿美元，因为你只是让闲置资源白白闲置。”Asgar在接受TechCrunch采访时直言不讳。

麦肯锡的最新研究报告显示，如果当前“部署更多计算”的趋势持续下去，到2030年数据中心支出将达到近7万亿美元。然而，现实情况是，这些昂贵的硬件大部分时间都处于闲置状态。

这种浪费并非技术限制，而是架构问题。正如Menlo Ventures合伙人Tim Tully在投资博客中所言：“单个智能员工可能需要串联多个步骤，每个步骤都需要不同的硬件：推理是计算密集型；解码是内存密集型；工具调用是网络密集型。”

Gimlet Labs的核心创新在于其编排软件，能够将智能员工工作负载切片，使其能够同时分布在各种硬件上。公司声称，在相同成本和功耗下，能够可靠地将AI推理速度提高3到10倍。

更令人印象深刻的是，Gimlet甚至能够将底层模型切片，使其在不同架构上运行，为模型的每个部分使用最佳芯片。这种能力已经吸引了英伟达、AMD、英特尔、ARM、Cerebras和d-Matrix等芯片制造商的合作。

然而，Gimlet的产品并非面向普通AI应用开发者。它针对的是最大的AI模型实验室和数据中心。公司在去年10月公开推出时，就声称已经实现了八位数的收入(至少1000万美元)。Asgar表示，在过去的四个月里，客户群增长了一倍多，现在包括一家主要的模型制造商和一家极其庞大的云计算公司。

根据科技日报的深度调查，我国智算中心平均算力使用率仅为30%。部分三四线城市中小规模的智算中心，整体利用率甚至不足三成。

这种低利用率背后有多重原因：

脱离实际需求的盲目建设：部分地区为了培育数字经济产业，鼓励建设算力中心并予以现金补贴，吸引了许多“外行”投资者

硬件配置单一化：许多智算中心大量配置同一类芯片，应用场景狭窄

技术更新换代快：从训练到推理的需求转变，让许多硬件设施“建成即落后”

构建智能化的异构计算调度平台。这不仅仅是技术问题，更是商业模式的重构。

有效的解决方案需要三个层面的协同：

硬件层面的异构融合

打破GPU单一依赖，实现CPU、NPU、FPGA等多种计算单元的协同工作

根据工作负载特性动态分配计算资源，避免“一刀切”的硬件配置

软件层面的智能编排

开发能够感知工作负载特性的调度算法

实现模型切片和任务分解，让不同部分在不同硬件上并行执行

运营层面的精细管理

建立算力利用率实时监控体系

通过预测性维护和动态扩容，确保资源高效利用

Arm发布的2026年技术预测指出，计算模式正从集中式云架构向覆盖各类设备、终端及系统的分布式智能架构演进。这意味着未来的算力调度将更加复杂，但也更加高效。

几个关键趋势值得关注：

边缘计算的崛起：AI推理任务将持续从云端向终端设备迁移，实现更快速的响应与决策

专用加速技术的普及：系统级协同设计的定制化芯片将成为主流

算力网络的构建：全国一体化算力网的建设将实现跨地域、跨层级的资源调度

Gimlet Labs的8000万美元融资只是一个信号，它标志着AI行业正在从“堆硬件”的粗放式增长，转向“提效率”的精细化运营。

对于企业而言，这不仅仅是技术选择问题，更是战略决策。那些能够率先实现算力高效利用的企业，将在成本控制和创新速度上获得双重优势。

在实践中发现，真正的突破往往发生在技术、商业模式和运营管理的交汇处。当硬件利用率从30%提升到70%，意味着同样的投入可以产生超过两倍的产出——这不仅是经济效益，更是创新能力的倍增。

在这个算力即生产力的时代，效率革命已经拉开帷幕。那些能够驾驭异构计算浪潮的企业，将在下一轮竞争中占据先机。而对于所有正在探索AI转型的企业来说，现在正是重新思考算力策略的最佳时机。

🚀 智脑时代

关注我们，获取前沿科技洞察与高效算力解决方案。

一键三连「点赞」「转发」「小心心」