Mac 专属大模型框架 Chat with MLX：两行代码部署本地对话
Mac 用户终于不用羡慕 NVIDIA 显卡玩家拥有专属大模型 Chat with RTX 了。由 OpenAI 前员工开发的新框架 Chat with MLX，让苹果电脑也能运行本地大模型，仅需两行代码即可完成部署。该框架支持中文在内的 11 种语言，并内置七种开源大模型。
框架背景与功能
Chat with MLX 仿照 Chat with RTX 设计，基于苹果机器学习框架 MLX（Machine Learning eXtension）。它具备本地文档总结、YouTube 视频分析等功能。对于开发者而言，除了预置模型，只要 Hugging Face 上有且兼容 MLX 框架的模型，也可以手工添加。
安装与部署
Chat with MLX 已集成到 pip 命令中。在拥有 pip 环境的 macOS 系统上，只需一行代码即可安装：
pip install chat-with-mlx
环境要求
为了确保顺利运行，建议满足以下基础环境配置：
- 操作系统：macOS 12.0 (Monterey) 或更高版本
- Python 版本：推荐 Python 3.9 及以上
- 硬件加速：Apple Silicon (M1/M2/M3 芯片) 体验最佳，Intel Mac 支持有限
- 网络连接：首次启动需连接 Hugging Face 下载模型权重
安装完成后，在终端中输入以下命令并按回车，系统将自动完成初始化并弹出网页界面：
chat-with-mlx
首次启动及下载模型时需要连接到 Hugging Face 服务器。如果中途需要更换模型，需先将当前模型 Unload，再选择新模型加载。
核心功能体验
1. 基础对话模式
如果不上传自有数据，可以直接将其作为普通大模型使用。在 M1 芯片的 MacBook 上，测试了规模较小的 Quyen-SE 模型（基于阿里通义千问改造，0.5B 参数），表现较为流畅。对于更复杂的任务，用户可以选择参数量更大的模型，但需注意内存占用。
2. 本地 RAG 检索增强生成
这是 Chat with MLX 的主要卖点。用户可以上传文件或填写 YouTube 视频链接，点击 Start Indexing 建立索引。根据开发者说明，只要不点击 Stop，再次上传新文件后数据是累加的。
为了验证效果，测试者使用了一篇不公开上网的本科毕业论文作为私有知识库，设计了十个问题询问论文细节。结果显示，其中七个回答正确符合文意，但速度相比纯生成略慢。
3. 多语言支持
框架内置支持包括中文在内的 11 种可用语言。用户可以在设置中切换默认交互语言，这对于非英语母语的开发者和研究人员非常友好。
