iPhone上跑Mistral 7B还挺快的就是中文还是不行感觉这个Mistral有望成为一多端的大模型样本啊🫡什么设备都能跑…

发布时间: 2023-12-17 22:31:42

1分

数据加载中

关注推特

收听电报

2

1

0

iPhone上跑Mistral 7B
还挺快的
就是中文还是不行
感觉这个Mistral有望成为一多端的大模型样本啊🫡什么设备都能跑…
IT技术
( twitter.com )

1年前由小互提交

Markdown支持

评论加载中...

您可能感兴趣的：更多

1

2

1

1

太棒了，我在NAS上用 CPU 跑，高质量翻译用宝玉老师的"科技文章翻译"搭配 Mistral，一般翻译用"自带翻译"搭配 Gemma 7B。👍
IT技术
( twitter.com)

10个月前 • Geek • -- 点击 0 评论

2

2

1

1

现在已经可以在 iPhone 或 iPad 上本机离线运行开源的 Mistral-7B 大语言模型了！
需要借助 LLMFarm（），一个支持 Apple Silicon 技术的开源客户端。对于设备的要求是：
- 一台至少配备M1 + 8GB RAM 的 iPad 或 iPhone
- 至少 8GB…
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 0 评论

3

2

1

1

【傍上微软“大腿”，“欧洲OpenAI” Mistral AI什么来头？】Mistral AI的最新旗舰模型Mistral Large，号称性能不输OpenAI的GPT-4和谷歌的Gemini Pro，训练成本只有2200万美元，约为GPT-4的五分之一。
大陆资讯
( finance.sina.cn)

10个月前 • 罗密欧煮你爷 • -- 点击 0 评论

4

2

1

1

进入2024年，平板/手机终端LLM能力和半年前比，进步还是很明显的
半年前在iPhone/Galaxy上用GPU跑7B模型大概能到6 token/s，现在已经能接近20 token/s了
主要提升来自于两方面：一个是启用NPU优化提升到10 token/s，另外一个是新技术speculative decoding再提升一倍（原理如图）…
IT技术
( twitter.com)

1年前 • fin • -- 点击 0 评论

5

2

1

1

Mistral Medium 居然超过 Claude 2 了！
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 0 评论

6

2

1

1

阿里云研发的 #通义千问大模型系列的70亿参数规模的模型Qwen-7B和Qwen-7B-Chat，在魔塔社区上开源，支持用户在消费级显卡上部署和运行模型。

时政
( twitter.com)

1年前 • 外汇交易员 • -- 点击 0 评论

7

2

1

1

好家伙，能手机部署LLM大模型来了。MiniCPM: 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型，MiniCPM-2B 仅有 24亿（2.4B）的非词嵌入参数量。与 Mistral-7B相近（中文、数学、代码能力更优），整体性能超越 Llama2-13B、MPT-30B、Falcon-40B 等模型。
IT技术
( github.com)

11个月前 • Geek • -- 点击 0 评论

8

2

1

1

最新开源模型选择个人推荐（超过40B的建议购买API服务，其他则建议自行int4部署）。
中文 RAG 选择 CommandR+
Agent/FunctionCalling 使用 Llama3-70B 或 CommandR+
中文文案写作用Qwen-72B，语言更Local一些。
特定任务的小参数微调base模型用 Llama3-8B 或 Mistral-7B
大参数微调base 模型用 Yi-34B
时政
( twitter.com)

8个月前 • 九原客 • -- 点击 0 评论

9

2

1

1

Open WebUI 有部署，Ollama 也有，本地 CPU 跑 Qwen2.5: 7B-q4_0 也没问题。学习一下《实现本地 RAG 服务：整合 Open WebUI、Ollama 和 Qwen2.5》教程，写得真好。
🧩
IT技术
( cuterwrite.top)

3个月前 • Geek • -- 点击 0 评论

0.08541 Second , Gzip Enable.本网所有言论均来自网络，不代表本网站立场。联系方式: admin@bad.news

©2012.11.21 bad.news All rights reserved. 社区自动运营第 -- 年零 -- 天
This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.

关注推特