根据市场研究公司MarketsandMarkets的数据，全球大模型训练和推理市场规模预计将从2023年的125亿美元增长到2028年的563亿美元，AI Infra的“掘金卖铲”生意潜力巨大。
大模型部署成本降低倍
“如何把大模型部署成本降低倍？部署成本= 手机号码数据 芯片+软件+模型+云“，袁进辉在2024稀土开发者大会上这样谈到。AI Infra作为提供大模型训练、部署和应用时所需的基础设施，快速、便宜和优质是最核心的三个问题，AI Infra要实现的就是在不牺牲模型性能的前提下尽可能降低模型部署成本。成本、效率和性能是大模型发展中的不可能三角，在AI Infra赛道的玩家如何实现？如果说模型层和应用层已经成为红海，那么AI Infra还是一片蓝海。
在国内专注AI Infra的公司并不多，硅基流动和无问芯穹是两家重量级玩家。该赛道的国外企业包括英伟达、亚马逊以及贾扬清创建的Lepton AI等。虽然，硅基流动与无问芯穹都聚焦AI Infra，但两者在服务重点、技术实现还是有很大差异。
硅基流动创始人
袁进辉是一个AI领域的连续创业者，年创办一流 研究 糖尿病药物可将阿尔茨海默病和帕金 科技，聚焦深度学习框架，打造出开源训练框架OneFlow，服务于大模型的生产，年被光年之外收购。去年8月，袁进辉带领其核心团队成员从光年之外独立，成立硅基流动，聚焦，服务模型大模型应用，瞄准推理领域，从头搭建了一套独立于伯克利的 vLLM和英伟达的之外的推理框架—。
除了独创的推理框架外
上线了一站式大模型API云服务平台，支持Qwen2(7B)、GLM4(9B)、Yi1.5(9B)等开源模型免费使用，提供高性能文生图/视频加速库OneDif等产品。云服务平台在SiliconLLM和OneDif的加持优化下，能够让开发者在不牺牲性能的前提下，更低成本和更高效率地 中国名录 进行模型应用开发。据悉，硅基流动的新产品SiliconCloud公测上线一个月后，平台用户日均调用数十亿Token。
比硅基流动早成立3个月的无问芯穹，在AI Infra上，着眼于软硬一体的整体解决方案，聚焦从算法到芯片、从芯片集群到模型、再从模型到应用的三阶段“M×N”中间层产品。
