本地部署 DeepSeek-R1 大模型
本文将介绍如何使用 Ollama 本地部署 DeepSeek 团队发布的 DeepSeek-R1 系列大模型,并结合开源前端UI,实现大模型token自由。
一、准备工作:安装 Ollama 后端
什么是 Ollama?
Ollama 是 Meta 开源的本地大型语言模型(LLM) 运行框架,允许用户在自己的设备上轻松地部署和运行各种开源LLM(如 LLaMA、Mistral、DeepSeek-R1 等)。
安装方式
打开 Ollama 官网,根据你的操作系统下载对应版本并安装。
安装完成后,在终端执行如下命令测试是否成功:
ollama
如果能够看到 Ollama 的命令行帮助信息,说明安装成功。
二、拉取并运行 DeepSeek-R1 模型
DeepSeek 团队推出的 R1 系列模型(如 deepseek-r1:7b
, deepseek-r1:32b
)在性能上表现出色,同时开源可商用,非常适合本地部署实验使用。
拉取模型
Ollama 提供了与 Docker 类似的命令结构。使用以下命令拉取并运行 DeepSeek-R1 的 7B 版本:
ollama run deepseek-r1:7b
这条命令将自动下载模型并启动一个本地推理实例。
如果你有足够的 GPU 显存(建议至少 48GB),也可以尝试更大版本:
ollama run deepseek-r1:32b
Ollama 会根据你的硬件自动使用 GPU 或回退到 CPU(如果 GPU 不支持)。
三、前端界面选择:Web UI 与 Chrome 插件
虽然 Ollama 支持命令行对话,但拥有一个可视化前端能带来更高效的交互体验。你可以根据自己的使用习惯选择以下两种方式之一:
1. 使用 Open WebUI(推荐)
Open WebUI 对接本地Ollama后端,同时也兼容 OpenAI 的API风格,能调用远程模型服务(如 GPT-4)
部署步骤(Docker 方式):
docker run -d --name open-webui -p 3000:3000 \
-e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
--restart unless-stopped \
ghcr.io/open-webui/open-webui:main
注意:Ollama 默认监听在
http://localhost:11434
,Docker 中访问主机地址需使用host.docker.internal
(适用于 macOS 与 Windows)。
完成后访问:http://localhost:3000 即可看到前端界面,选择模型后即可开始对话。
2. 使用 Chrome 插件 Page Assist
Page Assist 是一款 Chrome 插件,可以直接接入本地 Ollama 模型。
四、总结与建议
本地部署 DeepSeek-R1 模型非常简单,得益于 Ollama 的抽象封装和良好的模型生态:
- 如果你是开发者,命令行使用足以满足调试需求;
- 如果你注重交互体验,推荐使用 Open WebUI;
- 如果你希望在浏览器中使用 AI 辅助,Page Assist 插件是一个不错的选择。
推荐配置参考
模型版本 | 推荐显存 | 说明 |
---|---|---|
deepseek-r1:7b | ≥ 16GB | 日常对话、高性能本地部署 |
deepseek-r1:32b | ≥ 48GB(或更多) | 追求极致性能、服务器部署 |
五、后续可探索内容
- Open WebUI 接入 Google Gemini 的 API(免费);
- AnythingLLM嵌入私有知识库
- 推理优化:如
llm.cpp
、GGUF
等模型格式的轻量化加载。
更新日志
23359
-new article于