Deepinfra 获得 1.07 亿美元融资，用于打造面向开源模型的专用推理云

专注推理云初创公司Deepinfra Inc.正寻求扩大其全球产能，此前该公司在由500 Global和谷歌公司首批云工程师之一乔治·哈里克领投的B轮融资中筹集了1.07亿美元。

此轮融资吸引了多家重量级参与者，包括英伟达公司、三星Next——三星电子有限公司的风险投资部门、超微电脑公司，以及A.Capital Ventures、Crescent Cove、Felicis、Peak6和Upper90。

Deepinfra表示，随着业界从实验性聊天机器人转向生产规模的“代理式工作流”，即无需人工干预即可自主完成任务的系统，该公司正致力于重新设计面向人工智能工作负载的云基础设施。它指出，推理过程——即在生产环境中运行人工智能模型——效率极低，主要原因是传统云平台从未被设计用于支持此类工作负载。

这家初创公司认为，通用云基础设施平台难以应对人工智能代理“始终在线”的特性——这些代理往往需要进行数十次甚至数百次模型调用来执行单个任务。其结果是，延迟变得难以预测，导致成本飙升，甚至可能在人工智能项目尚未投入生产之前就使其夭折。

Deepinfra旨在通过打造一种“代币工厂”来解决这一问题，将推理视为一项主要流程，而非次要的云服务。该公司由创建了广受欢迎的消息应用imo的同一支工程师团队创立，imo的用户规模已扩展至全球超过2亿。

这家初创公司没有向第三方租用“现货”容量，而是在美国八个数据中心自主运营自己的硬件。这使它能够掌控完整的基础设施堆栈，从图形处理单元到应用程序编程接口，从而使其云硬件的性能得到更大提升。该公司利用英伟达的Dynamo分布式推理平台，以及其Blackwell和Vera Rubin GPU，可实现高达20倍的推理成本效率提升。

Deepinfra尤其关注代理型人工智能，因为它认为这类系统比传统生成式AI聊天机器人更加耗资源、成本更高。目前，其平台上超过30%的标记量已由自主智能体驱动。

目前，其平台支持超过190个开源AI模型，包括英伟达的Nemotron系列。此外，它还为企业提供零数据保留政策，以打消企业对向云端传输敏感信息的顾虑。

联合创始人兼首席执行官尼古拉·鲍里索夫表示，他四年前创立了这家公司，因为他坚信推理将成为企业人工智能工作负载的主导驱动力，而且他认为这一趋势如今已然显现。

“目前发生的情况令人无比振奋，开源模型正迅速逼近专有系统的水平，以极低的成本释放出一波创新浪潮，并推动其广泛普及，”他表示，“与此同时，基于智能体的系统也在持续催生着高密度的需求。”推理已不再是一个薄弱环节——它将成为定义大多数工作负载的系统约束。

500 Global的托尼·王表示，对人工智能推理的需求正呈井喷式增长，工程师和开发者们发现，他们亟需更快速、更灵活且更可靠的基础设施来支撑这一需求。“Deepinfra团队已证明，他们能够构建并运营全球规模的分布式系统。我们相信，专门打造的推理能力将成为人工智能下一阶段发展的关键所在。”他说道。

超好看的资讯你懂得 >>> 点击进入

[超站]友情链接：

四季很好，只要有你，文娱排行榜：https://www.yaopaiming.com/
关注数据与安全，洞悉企业级服务市场：https://www.ijiandao.com/