DeepSeek本地部署一篇就够了!

作品声明:个人观点、仅供参考

什么是 Ollama?

Ollama 是一个由 Aleksey Kovacs 开发的开源工具,旨在简化大型语言模型的部署和推理过程。与一些重量级框架(如 TensorFlow、PyTorch)相比,Ollama 的设计目标是轻量化和易于使用。它支持多种主流模型架构,并且可以通过简单的命令行界面或 API 进行操作。


什么是 DeepSeek?

DeepSeek 是一个开源的大型语言模型(LLM),由深度求索(DeepSeek)公司开发。该模型基于先进的自然语言处理技术,能够执行文本生成、问答、摘要等多种任务。由于其高效的性能和较低的计算资源需求,DeepSeek 成为许多开发者和企业的首选模型之一。


什么是 Chatbox AI?

Chatbox AI 是一款 AI 客户端应用和智能助手,支持众多先进的 AI 模型和 API,可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。


一、环境准备

    • 最低配置:CPU(支持 AVX2 指令集)+ 16GB 内存 + 30GB 存储。
    • 推荐配置:NVIDIA GPU(RTX 3090 或更高)+ 32GB 内存 + 50GB 存储。
    • 操作系统:Windows、macOS 或 Linux。

二、部署Ollama

打开Ollama官网:前往 Ollama官网,点击“Download”按钮。

根据你的系统选择对应的安装包

安装完成后,在终端输入以下命令,检查 Ollama 版本:

ollama --version

三、部署DeepSeek模型

  • 入门级:1.5B 版本,适合初步测试。
  • 中端:7B 或 8B 版本,适合大多数消费级 GPU。
  • 高性能:14B、32B 或 70B 版本,适合高端 GPU。

打开终端,输入以下命令下载并运行 DeepSeek 模型。例如,下载 1.5B 版本的命令为:

ollama run deepseek-r1:1.5b

需要下载其他版本,可以参考以下命令:

ollama run deepseek-r1:8b  # 8B 版本
ollama run deepseek-r1:7b  # 7B 版本
ollama run deepseek-r1:14b # 14B 版本
ollama run deepseek-r1:32b # 32B 版本

四、部署Chatbox AI

打开Chatbox AI官网:前往Chatbox AI官网:办公学习的AI好助手,全平台AI客户端,官方免费下载,点击“免费下载”按钮。

选择对应的系统版本进行安装,打开后如下

点击左下角Settings,进行Ollama API配置,对应项配置如图所示,完成后点击SAVE

五、验证

目前我们已经拥有一个本地的DeepSeek,并且可以自由问答、不受限制的本地对话端。
点击New Chat即刻创建一个新的对话框,尽情使用吧。

举报