豆包教你部署本地deepseek

以下是一篇关于本地部署 DeepSeek 的图文教程,DeepSeek 包含 DeepSeek Coder 代码模型和 DeepSeek Chat 对话模型,这里以 DeepSeek Coder 为例进行说明,部署环境为 Linux 系统,使用 GPU 加速推理。


环境准备



  • 硬件:NVIDIA GPU(建议显存 16GB 及以上),如 NVIDIA A10、V100 等。
  • 软件:操作系统:Ubuntu 20.04 及以上。
  • CUDA:版本 11.3 及以上。
  • Python:版本 3.8 及以上。
  • Git


步骤 1:安装必要的依赖库

文字步骤



  1. 打开终端,更新系统软件包列表:



收起

bash

sudo apt update



  1. 安装 CUDA 相关依赖和其他必要工具:



收起

bash

sudo apt install build-essential python3-dev python3-pip libnvidia-common-<your-cuda-version> libcudnn8 libcudnn8-dev



注意:<your-cuda-version> 需要替换为你实际安装的 CUDA 版本,如 525。
3. 安装 Python 依赖库:

收起

bash

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install transformers accelerate bitsandbytes sentencepiece

步骤 2:克隆代码仓库

文字步骤

在终端中执行以下命令克隆 DeepSeek Coder 的代码仓库:

收起

bash

git clone https://github.com/deepseek-ai/DeepSeek-Coder.git
cd DeepSeek-Coder

步骤 3:下载模型权重

文字步骤

你可以从 Hugging Face 上下载 DeepSeek Coder 的模型权重,以 deepseek-coder-6.7b-base 为例:

收起

python

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_path = "deepseek-ai/deepseek-coder-6.7b-base"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype=torch.bfloat16, device_map="auto")

步骤 4:进行推理

文字步骤

以下是一个简单的推理示例代码:

input_text = "def hello_world():"
inputs = tokenizer(input_text, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=128)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))


步骤 5:验证部署成功

如果终端输出了基于输入代码生成的代码内容,说明 DeepSeek Coder 本地部署成功。

注意事项

  • 模型权重较大,下载可能需要较长时间,请确保网络稳定。
  • 如果显存不足,可以尝试使用 bitsandbytes 库进行 8 位或 4 位量化推理。例如,在加载模型时添加 load_in_8bit=True 或 load_in_4bit=True 参数。

以上教程详细介绍了如何在本地部署 DeepSeek Coder 模型,通过上述步骤你可以在自己的环境中使用该模型进行代码生成。如果要部署 DeepSeek Chat 模型,步骤类似,只需将模型路径替换为相应的 Chat 模型路径即可。

举报