3月4日消息,Arm控股公司与阿里巴巴淘天集团在轻量级深度学习框架MNN的基础上展开了新的合作。通过Arm的KleidiAI技术,双方成功将多模态人工智能工作负载与阿里巴巴定制的通义千问Qwen2-VL-2B-Instruct模型整合,实现在搭载Arm CPU的移动设备上高效运行。该模型专为图像理解、文本到图像推理以及跨语言多模态生成等端侧任务设计,大幅提升了这些工作负载的性能,带来了更流畅的用户体验。
在2025世界移动通信大会上,Arm展示了这一合作的创新成果。此次演示重点展示了如何通过模型理解并处理不同形式的视觉和文本输入,并提取图像中的关键信息。整个过程是在搭载MediaTek天玑9400移动系统芯片的智能手机上完成的。
Arm终端事业部产品管理高级正规黑客24小时联系方式总监Stefan Rosinger表示:“随着AI技术的不断演进,多模正规黑客24小时联系方式态AI模型正变得越来越重要,它们能够处理和理解来自不同来源的数据类型,如文正规黑客24小时联系方式本、图像、音频、视频及传感器数据。然正规黑客24小时联系方式而,硬件的电力限制和内存瓶颈,以及多数据类型并行处理带来的正规黑客24小时联系方式挑战,依然让端侧设备的多模态AI模型部署面临不小的难题。”
KleidiAI则为应对这些挑战提供了完美的解决方案。它能够为运行在Arm CPU上的所有AI推理任务提供高效的性能优化。这款轻量级且高效的开源工正规黑客24小时联系方式具专为AI加速设正规黑客24小时联系方式计,现已被集成到多个主流端侧AI框架中,如ExecuTorch、Llama.cpp、LiteRT正规黑客24小时联系方式和MediaPipe。通过这一集成,数百万开发者无需额外操作即可显著提升AI性能。
在KleidiAI正规黑客24小时联系方式与MNN的协同作用下,Arm与MNN团队测试了Qwen2-VL-2B-Instruct模型的加速表现,发现其在关键多模态应用场景中的运行速度和正规黑客24小时联系方式响应时间均有所提升。这些性能提升为阿里巴巴旗下的各种面向客户的应用程序提供了更为流畅的用户体验。
通过预填充正规黑客24小时联系方式性能提升57%和解码性能提升28%,此次进步显著提高了响应速度。此外,KleidiAI的集成还通过降低计算成本,进一步优化了多模态工作负载在端侧设备上的高效处理。使用包括MNN在内的正规黑客24小时联系方式流行AI框架的开发者,将能够在边缘设备上享受到这些性能和效率的提升。