DeepSeek R1打造本地RAG知识库的AI助手:Dify深度讲解

作品声明:个人观点、仅供参考

前面我们刚刚讲了AnythingLLM实现的本地知识库大模型应用,对于很多朋友来说都是零代码的,很容易上手,但是功能相对少和不够灵活。

今天我们 给大家讲另外一个方式实现本地知识库的Ai助手,Dify开源平台

在大模型大火特火的今天,搭建一个属于自己的私有 RAG(Retrieval-Augmented Generation,检索增强生成)知识库,能够为特定的业务场景提供高效、精准的知识服务。

本文将详细介绍如何利用 ollama 并结合 Dify 来搭建本地的私有 RAG 知识库,涵盖从环境准备到最终部署的完整工作流程以及关键技术细节

一、环境准备

在开始工作之前,我们先明确一下本文主要涉及的几个方面:

  1. Docker:dify是在docker中安装使用的。
  2. Ollama:本地模型的部署和安装,是在ollama中的。
  3. 模型:Deepseek r1和Embed模型。
  4. Dify:源码下载及安装。
  5. 实操:详细的操作使用指南。

二、Docker安装

  • 打开Docker的官网:https://docs.docker.com/

  • 下载对应版本的docker

  • 下载完成后直接安装运行即可。

  • 运行界面如图

三、安装 Ollama

Ollama 是一个用于本地运行大型语言模型的工具。

可以通过以下步骤安装 Ollama:

3.1 下载 Ollama

  • 访问 Ollama 的 https://ollama.com/官方网站,下载适合你操作系统的安装包。

3.2 安装 Ollama

3.3 验证安装

  • 打开终端或命令提示符,输入 ollama --version,确保安装成功。

3.4 Ollama常用命令

四、配置模型

4.1 下载 DeepSeek R1 模型

  • 从 Ollama的官方网站下载 DeepSeek R1 模型文件。
ollama run deepseek-r1:7b

4.2 启动模型

  • 启动和下载模型是同一个命令,如果没有下载过的新模型会直接下载,以及下载过的则直接启动。
ollama run deepseek-r1:7b

4.3 下载 Nomic-Embed-Text 模型

  • 从 Ollama的官方网站下载 nomic-embed-text 模型文件。
ollama pull nomic-embed-text

4.4 模型下载完成

五、安装和配置 Dify

  1. 下载 Dify 代码
    • 从 Dify 的官方 GitHub 仓库克隆代码:
git clone https://github.com/langgenius/dify.git
  • 进入克隆后的目录:
cd dify
cd docker
  1. 配置环境变量
    • 在项目根目录下,复制.env.example文件并重命名为.env:
cp.env.example.env
  • 编辑.env文件,根据你的需求配置相关环境变量。对于本地部署,大部分默认配置即可满足需求。
  1. 启动 Dify
    • 使用 Docker Compose 启动 Dify 服务:
docker-compose up -d
  • 这一步会下载并启动 Dify 所需的所有 Docker 容器,包括 Web 服务、数据库等。
  • 启动完成后,可以通过浏览器访问http://localhost/install进入 Dify 的管理界面。

四、搭建私有 RAG 知识库

  1. 数据准备
    • 用我们前面讲的cline,自动生成一个模拟数据生成代码,来生成高中的成绩单。

    • 最后生成的数据如下:

  1. 配置 Dify
    • 在 Dify 的界面中,点击用户名。

    • 进入设置页面,选择模型供应商,选择ollama。

    • 分别添加LLM和Embed模型,URL填:http://host.docker.internal:11434

这样我们的模型就配置完了。

  1. 配置本地知识库
    • 在 Dify 的知识库页面,选择新加知识库。

    • 添加刚刚生成的模拟成绩单

    • 添加完成的效果

五、测试和优化

  1. 测试查询

这就我们运行测试的界面,测试过后可以直接发布;

发布后的聊天界面:

  1. 优化调整
    • 根据测试结果,如果发现回答不准确或性能不佳,可以对数据进行进一步的清洗和整理,优化索引结构,调整 RAG 模型的参数等。
    • 不断迭代优化,直到知识库能够满足你的业务需求。

六、总结

通过以上步骤,我们成功地使用 ollama 和Dify 搭建了本地的私有 RAG 知识库。

在搭建过程中,需要注意环境的准备、软件的安装和配置以及数据的处理等各个环节,确保每个步骤都正确无误。同时,要根据实际需求对知识库进行不断的测试和优化,以提升其性能和效果。

有任何问题,欢迎留言关注我。

举报