近期,随着技术领域的变革,AI推理正在逐渐成为竞争的主战场,而边缘计算因其独特的优势,成为这一新兴市场的竞争焦点。
推理时代的到来
自去年以来,科技巨头纷纷在推理领域取得突破。OpenAI推出了O1推理模型,Anthropic则推出了依赖推理能力的“Computer Use”代理功能,而DeepSeek的R1推理模型引起了全球关注。与此同时,英伟达也在GTC大会上展示了其首个推理模型及相关软件,标志着AI大模型的竞争焦点已经转向推理。
根据巴克莱报告,AI推理的计算需求将急速增长,预计将占到整体人工智能计算需求的70%以上,甚至可能超越训练计算需求,达到后者的4.5倍。英伟达的创始人黄仁勋预测,推理所需的算力需求预计将大幅增长,达到此前预估的100倍以上。
在DeepSeek推出之前,AI大模型的部署和训练面临着大量资金投入和高算力需求的问题。许多中小型企业无法自主搭建完善的生态系统来进行大规模的模型开发,同时大模型的闭源限制了其广泛应用。
DeepSeek采用了大规模跨节点专家并行模式,通过强化学习减少对人工干预和数据缺失的依赖,同时通过全面开源,降低了推理资源的成本,为行业用户提供了更加轻便灵活的部署解决方案。在不到两个月的时间里,DeepSeek已经被广泛应用于科技、金融、政务等多个行业,加速了端侧AI的普及与发展。
边缘计算的价值与优势
在推理过程中,低延迟和位置接近性至关重要,这使得边缘计算在AI推理中具有明显的优势。通过将计算能力靠近用户,边缘计算能够显著提高数据交互效率,并确保信息安全。
边缘计算因其广泛的地理分布和靠近用户的特点,成为实现低延迟体验的必要条件。举例来说,在语音数字人的场景下,边缘计算可以显著减少数据传输的距离,从而提高用户体验。此外,相比设备端推理,边缘计算能够简化模型的优化升级过程,降低对终端设备的依赖。
边缘节点不仅容量大、稳定性强,还具备更高的可用性和智能化水平。通过推理技术的加持,边缘计算能够为企业的数字化转型提供强有力的支持,并通过故障切换保障业务的连续性。
在边缘端,还可以利用缓存技术优化交互内容的存储,减少网络流量,提高模型的实时响应能力。与此同时,集成的安全防护机制能够保障大模型应用的安全性。
竞争加剧,厂商积极布局
随着AI推理市场的加速发展,硬件厂商、模型开发商和AI服务提供商纷纷投入竞争,特别是在边缘计算领域。
硬件厂商如苹果、高通等正在加速研发专为边缘端设计的AI芯片,推动智能手机和机器人等设备的AI推理能力。Arm则发布了能支持超过10亿参数的边缘AI计算平台,国科微也推出了多种适配轻量级语言模型及生成式AI等的大规模计算芯片。
在平台服务领域,英特尔推出了基于锐炫TM显卡的推理解决方案,提升边缘端推理速度;阿里云则推出了边缘容器云,帮助开发者更快速地迭代和部署AI推理应用;网宿科技则提供了包括Serverless GPU和边缘AI网关等在内的边缘计算平台,助力企业实现高效低成本的AIGC创新。
目前,AI推理市场正处于快速发展之中,竞争格局仍在不断变化。未来,推理的成本、延迟和吞吐量将成为市场竞争的关键因素,而边缘计算作为技术的切入点,将成为各方争夺的焦点。
网宿科技作为行业领先者,早在2011年就开始布局边缘计算,至今已经建立起包括资源、产品、技术、安全和应用的一体化服务体系。凭借近3000个全球节点和丰富的GPU算力资源,网宿在边缘计算领域具有明显的时延优势,能够大幅提升模型交互效率。
网宿科技还通过其成熟的技术栈,结合异构计算虚拟化、容器化技术,支持大规模模型的调度和运营,提供高可用服务。此外,网宿的边缘平台能够根据企业需求定制个性化的智能解决方案,助力各行业实现数字化转型。
例如,网宿科技利用RAG技术结合边缘推理模型,为医疗行业提供了智能AI问答系统,显著提高了医疗咨询效率。
可以预见,随着推理技术和边缘计算能力的持续发展,AI推理将在未来带来更多创新机遇,为产业发展注入新动力。