现在已经可以在 iPhone 或 iPad 上本机离线运行开源的 Mistral-7B 大语言模型了!
需要借助 LLMFarm(https://t.co/uGke2yZosf https://t.co/Xk72DcRWq8 ),一个支持 Apple Silicon 技术的开源客户端。对于设备的要求是:
- 一台至少配备M1 + 8GB RAM 的 iPad 或 iPhone
- 至少 8GB 的可用本地存储空间
在本机运行大语言模型有几个好处:
1. 无需联网
2. 不用担心隐私泄露
缺点就是能力要弱一些,机器配置不够高速度也不会太快。但多一些选择总是好的!
如果你想看详细的安装教程,可以看这个链接:https://t.co/eJPNo2B17p
中文翻译:https://t.co/7KqYUYu9o1
点击图片查看原图