LM Studio 下载模型失败怎么办

LM Studio是一款免费本地模型部署、应用软件,主要功能:

1.模型部署

2.Chat 应用

3.兼容OpenAI的Local Server, 支持以下接口

• GET v1/models

• POST v1/chat/completions

• POST v1/embeddings

• POST v1/completions


LM Studio vs ollama

LM Studio 功能上比 ollama + Open WebUI 弱不少(Open WebUI的缺点就是比较难安装)。

没有魔法,无法下载huggingface.co的模型, 另外 LM Studio 不支持设置镜像,导致每次下载模型都会报错。今天就介绍两个方法来下载(部署)模型,无需魔法。

手工修改下载地址

下载模型失败


选择要下载的模型,报错,就是上图的结果,把程序关闭,用编辑器打开~/.cache/lm-studio/downloads.json,下面的例子就是下载gemma-2b-it-q8_0.gguf 的信息,

看到这里,大家想到咋办了吗?把huggingface.co替换成hf-mirror.com,保存再次打开LM Studio

链接变了

换镜像


点Try Resume, 就可以愉快地继续了

模型可以下载了

手工下载模型

下载gguf

记得下载GGUF格式,如果不是,你得自己转。至于哪里下载,hf-mirror.com 或者魔搭都可以。

当然也可以用 ollama 下载,这个更方便。

手工安装

只需要把gguf按照指定的目录结构copy过去即可,让我们看看刚刚下载的gemma-2b-it-q8_0.gguf

是如何保存的吧?

对比下我的下载路径

现在明白两层目录怎么来的了吧, 比如我们同时下载了


FAQ

不知道自己的模型目录和配置信息在哪里?点这里就可以了,donwloads.json

就在这个的上一级目录。


模型信息

从上图还可以看出,你可以方便地更改模型存储位置。

装载本地模型

有时候LM Studio内的模型无法下载,我们可以加载本地模型,新建models\Publisher\Repository 文件夹,将模型文件放入Repository 内,选择my models,改变模型加载目录为models即可。

引用链接
魔搭: https://modelscope.cn/

举报