本帖最后由 xld0932 于 2025-2-10 13:18 编辑
#申请原创# @21小跑堂
1.前言
2.安装Ollama
3.部署DeepSeek模型
4.部署nomic-embed-text嵌入式模型
5.安装Chatbox AI
6.安装Cherry Studio
7.通过Cherry Studio训练本地知识库
8.安装AnythingLLM，对知识库进行训练
9.使用DeepSeek基于MM32自动生成代码
10.感受
1.前言
DeepSeek当前服务器资源紧张，很多时候问题问着问着，就提示服务器没反应了。有很多小伙伴就想在地本部署DeepSeek，训练自己的知识库；当然这样做有利有弊，通通过DeepSeek-R1的输出，蒸馏了6个小模型开源给社区，根据部署的DeepSeek模型，需要有对应的硬件配置做保障，就是说不同的模型需要有匹配的硬件资源才可以正常的运行；本地部署的DeepSeek可以使用本地的知识库，可以保护自己的资料不被外泄。下面我们就详细介绍从环境搭建到模型运行，从训练知识库到让DeepSeek实现基于MM32自动生成代码，熟悉AI的强大功能。
2.安装Ollama
2.1.到Ollama官网（https://ollama.com）下载Ollama
2.2.双击OllamaSetup.exe，安装Ollama软件，选择默认安装选项，具体步骤如下所示：
2.3.等待安装完成，就会弹出如下的命令窗口，在窗口界面尝试输入ollama命令，就会输出对应的提示信息：
3.部署DeepSeek模型
3.1.在Ollama官网的Models栏中（https://ollama.com/search），找到deepseek-r1，选择1.5b的版本（这个版本对电脑的要求是最低的）
3.2.使用快捷键WIN+R，打开运行窗口，输入cmd并确定
3.3.在弹出的窗口中，输入ollama run deepseek-r1:1.5b这个命令，第一次运行，如果没有部署过deepseek，它会自动下载并部署；等待下载和部署完成：
3.4.在DeepSeek部署完成后，我们就可以直接在这个窗口中本地和DeepSeek进行交互了；但这个界面并不是太友好，下面会跟大家分享2个桌面应用软件
4.部署nomic-embed-text嵌入式模型
这个模型是在后面的本地知识库做数据投喂中使用的
4.1.在Ollama官网的Models栏中（https://ollama.com/search），找到nomic-embed-text
4.2.使用快捷键WIN+R，打开运行窗口，输入cmd并确定
4.3.在弹出的窗口中，输入ollama pull nomic-embed-text这个命令，它会自动下载并部署；等待下载和部署完成就可以了：
5.安装Chatbox AI
Chatbox AI是一款AI客户端应用和智能助手，支持众多先进的AI模型和API，可以在Windows、MacOS、Android、iOS、Linux和网页版上使用。
5.1.到Chatbox AI官网（https://chatboxai.app/zh），下载Chatbox AI
5.2.双击Chatbox-1.9.8-Setup.exe，安装Chatbox AI软件，选择默认安装选项，具体步骤如下所示：
5.3.在第一次运行的时候，会弹出如下对话框，我们选择使用自己的API Key或本地模型
5.4.在选择模型时，我们选择本地模型Ollama API，并在弹出的设置窗口中，使用默认配置即可，点击保存
5.5.这时我们就可以使用本地部署的DeepSeek进行交流了
5.6.当然通过Chatbox AI软件也可以通过调用API Key的方式与DeepSeek服务器进行访问连接；只需要点击软件界面左下角的设置，在弹出的设置界面输入在DeepSeek创建的API key就可以了
5.7.这个时候再返回Chatbox AI聊天，就是与DeepSeek服务器之间进行交互了
6.安装Cherry Studio
Cherry Studio是一个支持多模型服务的桌面客户端，为专业用户而打造，内置30多个行业的智能助手，帮助用户在多场景下提升工作效率。
6.1.到Cherry Studio官网（https://cherry-ai.com），下载Cherry Studio
6.2.双击Cherry-Studio-0.9.19-setup.exe，安装Cherry Studio软件，选择默认安装选项，具体步骤如下所示：
6.3.点击Cherry Studio软件右下角的配置图标，配置Ollama调用本地的DeepSeek
6.4.点击Cherry Studio软件右下角的配置图标，配置联网与DeepSeek服务器进行交互
6.5.返回到聊天界面，我们可以点击Cherry Studio软件顶端来切换模型，个人感觉这个是比Chatbox AI软件方便的一个地方
6.6.我们先切换到本地DeepSeek测试一下
6.7.我们在切换到与DeekSeek服务器测试一下
7.通过Cherry Studio训练本地知识库
7.1.点击Cherry Studio软件右侧的知识库图标，在知识库界面，点击添加图标，在弹出的窗口中输入知识库名称，选择嵌入模型
7.2.知识库添加完成后显示如下
7.3.此时，我们添加一个网址看一下效果
7.4.当然我们还可以把我们的文档、资料都添加到这个知识库里，这样就创建本地的私有知识库了，通过DeepSeek模型可以检索这个知识库，实现交互。
8.安装AnythingLLM
8.1.到AnythingLLM官网（https://anythingllm.com），下载AnythingLLM
8.2.双击AnythingLLMDesktop.exe，安装AnythingLLM软件，选择默认安装选项，具体步骤如下所示：
8.3.第一次启动AnythingLLM，会有一个运行向导，我们点击Get Started后，所有配置项选择默认的即可，如下所示：
8.4.最后一步我们创建一个工作区，就进入到了AnythingLLM主界面
8.5.点击AnythingLLM左下角的Open settings图标，先对AnythingLLM软件进行前期的配置
8.6.点击知识旁边的设置图标，对知识库进行配置
8.7.这个时候我们就可以通过本地的DeepSeek大语言模型检测本地的嵌入式知识库进行交互了
8.8.点击知识旁边的上传图标，对知识库进行训练
9.使用DeepSeek基于MM32自动生成代码
根据与DeepSeek的交流，依次给DeepSeek发送3条指令，如下：
- 基于MM32F0140芯片，帮我编写一个控制LED灯闪烁的程序，LED灯控制引脚为PA15
- 使用库函数的形式进行编程，不要使用寄存器的方式
- 延时函数使用SysTick实现
DeepSeek的答复如下所示：
10.感受
在学习和使用的过程中，感受到了DeepSeek的强大，感受到了AI的智能和趋势。上面分享了一些学习过程中的部署环境和软件，自己还是更喜欢使用Cherry Studio这个软件，操作方便快捷。同时对于本地部署DeepSeek，在响应速度上要比服务器快上很多；本地知识库的训练丰富程度也影响了DeepSeek是否更智能化的理解你想表达的意思或需求，而且本地知识的训练需要大量的投喂，所以我个人还是喜欢服务器版本的服务……
|
楼主
标题置顶
标题高亮
