当前位置: 首页 > news >正文

RTX5060TI 配置Xinference

RTX5060TI 配置Xinference

CUDA

(llama-factory) D:\P\llm\LLaMA-Factory>nvcc -V
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2025 NVIDIA Corporation
Built on Wed_Apr__9_19:29:17_Pacific_Daylight_Time_2025
Cuda compilation tools, release 12.9, V12.9.41
Build cuda_12.9.r12.9/compiler.35813241_0(llama-factory) D:\P\llm\LLaMA-Factory>nvidia-smi
Thu Oct 23 15:24:02 2025
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 576.88                 Driver Version: 576.88         CUDA Version: 12.9     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                  Driver-Model | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA GeForce RTX 5060 Ti   WDDM  |   00000000:01:00.0  On |                  N/A |
|  0%   38C    P0             24W /  180W |    2728MiB /  16311MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

配置环境和安装依赖

conda create -n Xinference python=3.10.14
conda activate Xinference
pip install "xinference[all]"
pip uninstall torch torchvision torchaudio -y
pip3 install torch torchvision --index-url https://download.pytorch.org/whl/cu128 --no-deps

下载模型

在这个网站自助 https://modelscope.cn/

运行Xinference

windows不支持0.0.0.需要使用127.0.0.1 ip的方式

xinference-local --host 0.0.0.0 --port 9997

xinference-local --host 127.0.0.1 --port 9997

Windows下启动Xinference报错 RuntimeError: Cluster is not available after multiple attempts-CSDN博客

http://www.hskmm.com/?act=detail&tid=37460

相关文章:

  • 超越“系统性沉默”:“AI元人文”构想下的价值范式转换与游戏化探索
  • 通信协议(Http,websocket)
  • 详细介绍:go语言学习记录9.23
  • 动车受电弓网检测系统 保障高速铁路安全高效运行
  • P13382 解题报告
  • 我最常用的快捷键
  • Semgrep代码审计工具的使用
  • 厨房电秤方案:介绍一款电子秤芯片sic8632
  • CodeForces-1183F Topforces Strikes Back
  • WPF多语言实现
  • 16 倍性能提升,成本降低 98%! 解读 SLS 向量索引架构升级改造
  • unity设置外置文件,运行读取文件获取地址
  • CF981F Round Marriage
  • macOS直接使用pip安装报错
  • 2025 年最新螺旋地桩厂家推荐排行榜:聚焦光伏大棚等场景,甄选优质实力企业桩尖/大棚/组合/地螺丝螺旋地桩厂家推荐
  • CodeForces-1620D Exact Change
  • 2025 年蒸发器制造商最新推荐排行榜:聚焦节能环保领域,精选废水 / 多效 / 低温等类型设备实力品牌(TOP6)
  • K8S控制器压测调参
  • 第六周第四天6.4
  • Wireshark抓包教程:JSON和HTTPS抓取
  • 2025 年电子万能试验机生产厂家最新推荐榜:聚焦企业专利技术、品质管控及知名客户合作案例的权威解析
  • 禁用内核模块,是否需要执行脚本 $ sudo update-initramfs -u $ sudo update-grub ? - 详解
  • Spring AI Alibaba Admin 正式开源!!
  • snack4-jsonpath v4.0.2 发布
  • 2025 年东莞钢结构厂房施工公司最新推荐榜:聚焦企业专利技术、品质管控及知名客户合作案例的权威解析
  • Python 字符串和 数字(int、float、Decimal、Fraction 等) 的一些使用技巧
  • Python 类、对象、继承、方法 的一些使用技巧
  • Python 列表、字典、集合、生成器、迭代器 的一些使用技巧
  • 上海AI短视频获客企业口碑榜:技术实力、服务案例及市场覆盖率的深度解析
  • 【为美好CTF献上祝福】杂项笔记