当前位置: 首页 > news >正文

deepseek 私有部署文档

一、基于容器创建

进入节点后先启动容器,在容器中进行后续的操作(只需要执行一次就好,只要容器存在,下次直接进入就行)

docker run -it --device=/dev/dri --device=/dev/htcd --group-add video --name openwebui-vllm-deepseek --network=host --security-opt seccomp=unconfined --security-opt apparmor=unconfined --shm-size 100gb --ulimit memlock=-1 -v /gpfs_ssd/models/DeepSeek-R1-Distill-Llama-70B:/models/DeepSeek-R1-Distill-Llama-70B vllm:hpcc2.27.0.9-torch2.1-py310-ubuntu20.04-amd64 /bin/bash

--name openwebui-vllm-deepseek:容器名称,可随意更改,不与其他容器重复即可

/gpfs_ssd/models/DeepSeek-R1-Distill-Llama-70B:/models/DeepSeek-R1-Distill-Llama-70B:本地模型地址:容器模型地址

vllm:hpcc2.27.0.9-torch2.1-py310-ubuntu20.04-amd64:所基于启动的镜像

其他都是默认选项,一般情况下不推荐更改

创建容器后,以后执行以下命令即可,如果遇到容器关闭,先启动容器(docker start openwebui-vllm-deepseek),在执行以下命令进入,如果想关闭容器(docker stop openwebui-vllm-deepseek)

docker exec -it openwebui-vllm-deepseek bash

进入容器后,四卡启动ds

CUDA_VISIBLE_DEVICES=0,1,2,3 vllm serve /models/DeepSeek-R1-Distill-Llama-70B/ --port 8000 --device cuda --tensor-parallel-size 4 --gpu-memory-utilization 0.95 --max_model_len 8784

CUDA_VISIBLE_DEVICES=0,1,2,3:设置使用的GPU,可在0~7内选择,70B需要四卡

/models/DeepSeek-R1-Distill-Llama-70B/:本地模型的位置,注意这个值和后续API要保持一致

--port 8000:对外暴露的端口,默认8000,可按照自己的需求更改

--tensor-parallel-size 4:指定张量并行的大小,因为这次是4卡启动所以为4

--gpu-memory-utilization 0.95:GPU显存的最大利用率,0.95代表不会超过95%

--max_model_len 8784:指定模型可以处理的最大序列长度,不需要太长,够用即可

# # 等待这条命令运行完毕,即表示API启动完毕,可按照以下的形式通过postman进行验证(显示以下内容表示成功启动)

INFO: Started server process [15]
INFO: Waiting for application startup.
INFO: Application startup complete.
INFO: Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)

注意:post后面的地址要更换为当前服务器的ip,比如当前是10.252.17.35,就用这个替换202.120.92.104,端口默认8000,如果更改就按照更改的来

二、postman调用

注意:model的值要与vllm serve所启动的模型地址一样,不然会被拒绝请求。
三、OpenWebUI部署

单独创建conda环境运行openwebui

conda create -n owu python=3.11 -y
conda activate owu --enable-reasoning
pip install open-webui -i http://mirrors.aliyun.com/pypi/simple

启动前设置好变量

export HF_ENDPOINT=https://hf-mirror.com
export ENABLE_OLLAMA_API=False
export OPENAI_API_BASE_URL=http://127.0.0.1:8000/v1
export RAG_EMBEDDING_MODEL=/workspace/all-MiniLM-L6-v2/
export DEFAULT_MODELS="/models/DeepSeek-R1-Distill-Llama-70B/"

启动即可

open-webui serve

启动后,可以在浏览器通过 10.252.17.35:8080 访问webui,之后可以进行对话

http://www.hskmm.com/?act=detail&tid=25300

相关文章:

  • MySQL运维及开发规范
  • 短视频平台差异视角下开源AI智能名片链动2+1模式S2B2C商城小代码的适配性研究——以抖音与快手为例
  • 异步读写mysql依赖pymysql (asyncio/ aiomysql)
  • Linux发行版切换技术全解析
  • 手把手教你用 Docker 部署 Redis
  • 悟空博弈单元(WBUC)与广域统一计算(WAUC)研究:价值共生的技术基石——声明Ai研究
  • 掌握形式验证工具,提升芯片验证效率
  • 长租公寓的生存越来越难了 - 智慧园区
  • Spring Boot中保存前端上传的图片 - 教程
  • P2724 [IOI 1998 / USACO3.1] 联系 Contact 做题笔记
  • 深入解析:Linux运维笔记:服务器感染 netools 病毒案例
  • 设计模式——命令设计模式(行为型) - 详解
  • 港专专利申请量被反超,背后是谁在“偷家”?
  • 版权诉讼下的MiniMax:AI独角兽的上市迷途
  • HTB Eureka靶机渗透实战 - Spring Boot堆转储与Bash算术注入漏洞利用
  • 手机照片太多了存哪里? - 实践
  • 时隔十六年的南京之旅
  • 高贵的北上广深,没有父母托举,90后很难成家
  • 使用AI图像服务规模化视觉内容生产
  • 实用指南:基于贝叶斯优化神经网络的光伏功率预测综述
  • 详细介绍:ROS2与Unitree机器人集成指南
  • 布尔类型
  • 安装iTrustSSL证书 去除此网站不支持安全连接提示
  • 2025钻机厂家最新推荐榜:岩芯钻机,勘探钻机,地质钻机,取样钻机,空气反循环钻机公司推荐
  • 在AI技术快速实现创意的时代,挖掘游戏开发框架新需求成为关键
  • iNaturalist开放自然数据与计算机视觉挑战
  • macOS 编辑字幕
  • reLeetCode 热题 100- 438. 找到字符串中所有字母异位词 - MKT
  • Flutter 251006
  • [MCP] Register Prompt