本文章详细讲述了本地化部署deepseek的详细步骤,命令中以7b作为演示,请根据您自己的硬件配置情况进行调整命令,如有问题,欢迎在评论区交流。
安装ollame
# 更新系统及安装基础工具
sudo apt update && sudo apt install -y python3-pip git wget curl
# 安装NVIDIA驱动(以CUDA 11.8为例)
sudo apt install nvidia-driver-535 nvidia-cuda-toolkit
# 官方提供的Linux安装脚本
curl -fsSL https://ollama.com/install.sh | sh
# 验证安装
ollama --version # 输出版本即成功
配置环境变量
#设置OLLAMA_HOST=0.0.0.0环境变量,从而允许远程访问。
sudo vim /etc/systemd/system/ollama.service
#修改监听地址为0.0.0.0
Environment=OLLAMA_HOST=0.0.0.0
#允许所有来源
Environment=OLLAMA_ORIGINS=*
#重载服务
sudo systemctl daemon-reload && sudo systemctl restart ollama
ollama run deepseek-r1:7b
运行deepseek模型
ollama run deepseek-r1:7b
部署webui
#部署Open-WebUI并对接Ollama部署的DeepSeek
pip install open-webui
open-webui serve
使用客户端
如果不需要使用web方式使用deepseek,则不用部署webui,直接搜索下载chatbox并按照官网指示进行安装和配置即可在本机调用deepseek模型。
![图片[1]-deepseek本地化部署详细步骤-美金梦](https://meijinmeng.cn/wp-content/uploads/2025/05/20250514141944333-deepseek.jpg)
© 版权声明
文章版权归作者所有,未经允许请勿转载。
THE END
暂无评论内容