Ollama 本地部署 DeepSeek R1 及 Python 运行 open-webui 界面(windows)
DeepSeek R1 + ollama + open-webui 本地部署(windows)
DeepSeek-R1本地部署配置要求
Github地址:https://github.com/deepseek-ai/DeepSeek-R1?tab=readme-ov-file
模型规模 | 最低 GPU 显存 | 推荐 GPU 型号 | 纯 CPU 内存需求 | 适用场景 |
---|---|---|---|---|
1.5B | 4GB | RTX 3050 | 8GB | 个人学习 |
7B、8B | 16GB | RTX 4090 | 32GB | 小型项目 |
14B | 24GB | A5000 x2 | 64GB | 专业应用 |
32B | 48GB | A100 40GB x2 | 128GB | 企业级服务 |
70B | 80GB | A100 80GB x4 | 256GB | 高性能计算 |
671B | 640GB+ | H100 集群 | 不可行 | 超算/云计算 |
扩展:
上面代表的是什么含义,首先我们知道671B的模型才是基础模型,其余的1.5B、7B、8B等都是蒸馏模型,因此Qwen代表是通义千问模型蒸馏的,Llama是通过Llama模型蒸馏的
DeepSeek-R1 + ollama + open-webui本地部署
1.本次使用的操作系统,以及环境配置
操作系统:windows11
CPU: i7-11800H
内存:16GB
GPU:RTX3050ti 4G显存
2.安装ollama
ollama是一个支持在windows、linux和macos上本地运行的大模型工具
官方网址:Release v0.5.7 · ollama/ollama · GitHub
配置环境变量
测试是否安装成功,cmd命令行输入ollama
3.通过ollama 安装 DeepSeek-R1 8B模型
下载模型网址:deepseek-r1
在命令行输入:ollama run deepseek-r1:8b,即可下载相应模型,速度会慢一点
在命令行输入:ollama list,即可查看已经下载好的模型
在命令行输入:ollama run deepseek-r1:8b,运行下载好的模型
4.安装open-webui,前端对话式网页工具
1)安装node.js
这里我是通过nvm仓库管理node,参考链接:使用nvm管理node多版本(安装、卸载nvm,配置环境变量,更换npm淘宝镜像)_node 版本管理-CSDN博客
官网下载nvm包:https://github.com/coreybutler/nvm-windows/releases
在安装目录下配置路径和下载镜像,setting.txt新增两行命令
node_mirror: https://npmmirror.com/mirrors/node/
npm_mirror: https://npmmirror.com/mirrors/npm/
在cmd输入命令行,测试是否安装成功:nvm –version
使用 nvm 安装 node 版本,这里我使用的是node.js 20.12.2版本
在cmd输入命令行:nvm install 20.12.2
对应的npm为10.5.0
2)使用anaconda 创建用于open-weibu的虚拟环境
参考链接:https://blog.csdn.net/xianfianpan/article/details/143441456
conda create -n ollama python=3.11
conda activate ollama
安装 open-webui
pip install open-webui
启动命令,出现Open-Webui界面i
open-webui serve
这里需要注意的是,本地访问http://0.0.0.0:8080会出现无法连接,要换成http://localhost:8080或者http://127.0.0.1:8080
5**. ollama + open-webui *+ DeepSeek R1 8B模型使用技巧***
左侧的工作空间,可以将文件上传到知识库中,为模型提供检索材料
deepseek-r1:8b 是通过ollama下载的模型,可以选择多个模型
links
https://www.cnblogs.com/REN-Murphy/p/18702762
效果演示
ollama run deepseek-r1:1.5b
open-webui serve
作者:学亮编程手记