阿里千问3全系适配苹果MLX框架

阿里云的通义千问(Qwen)大模型团队确实在积极推动其开源模型对多种硬件框架的适配。关于通义千问3(Qwen3)全系适配苹果MLX框架的最新进展,以下是综合信息整理: 1. 苹果MLX框架简介 MLX是苹果专为Apple Silicon(M1/M2/M3等芯片)设计的机器学习框架,支持在Mac、iPhone等设备上高效运行模型,尤其擅长利用统一内存架构提升性能。 优势:无需额外显存拷贝、支持动态图、与PyTorch API风格相似,适合本地部署大模型。 2. 通义千问3(Qwen3)的适配情况 开源支持:Qwen团队已开源多个规模的模型(如Qwen-1.8B、Qwen-72B等),并持续优化对主流框架(PyTorch、Transformers、vLLM等)的支持。 MLX适配: 官方虽未发布完整公告,但社区开发者已成功将部分Qwen模型移植到MLX(例如通过mlx-example项目实现本地推理)。 团队可能正在推进全系模型(包括Qwen3)的官方MLX支持,以覆盖从移动端到桌面端的Apple设备场景。 3. 当前使用建议 社区方案:可通过以下方式在MLX上运行Qwen模型: 转换模型权重(Hugging Face格式 → MLX格式)。 参考开源项目(如mlx-lm)加载Qwen模型进行推理。 性能优化:利用MLX的GPU/NE加速,在M系列芯片上实现低延迟生成。 4. 意义与展望 开发者友好:适配MLX后,Mac用户可直接本地部署Qwen模型,无需依赖云服务。 生态扩展:结合苹果硬件优势(如神经引擎),可能推动更多端侧AI应用(如个人助手、实时翻译等)。 如需最新动态,建议关注: 阿里通义千问GitHub仓库:https://github.com/QwenLM 苹果MLX官方文档:https://github.com/ml-explore/mlx (注:截至2024年7月,官方适配可能仍在进行中,具体以团队公告为准。)

AI

相关内容

Apple Insider:特朗普集团声称“美国制造”的特朗普手机实际上是中国制造!售价499美元起,配置为12GB+256GB,操作系统为安卓15
晶华新材等成立新公司 含AI相关业务
国内首个人形机器人全产业链专业展6月20日将在杭州召开
特朗普集团涉足通信市场,将推499美元的金色智能手机T1
曝微信灰度测试聊天记录备份至外部设备存储
科学家探测到穿透人脑的光信号 有望催生新型深部脑成像设备
投稿