常见问题

配置和运行问题

先打开 Runner 的“设置”页，查看“Pytorch 版本”和驱动 CUDA 版本。Windows 版 Runner 会根据驱动选择受支持的 PyTorch/CUDA 组合。不要通过查找某个固定版本的文件夹来判断环境是否正常。

**使用 Runner 自带环境：**如果版本为空、显示 CPU 版，或安装过程曾经中断，请在“设置”页重新选择 PyTorch 版本，等待 Runner 完成安装。
**使用自定义 Python：**请在该环境中安装 CUDA 版 PyTorch 和 ninja。
**暂时不使用自定义算子：**在“配置”页关闭“使用自定义 CUDA 算子加速”。

这表示当前 Python 环境加载的是 CPU 版 PyTorch，或 Runner 使用了错误的 Python 路径。

模型能否运行取决于模型规模、精度、后端、上下文长度和可用内存，不能只用一组固定显存数字判断。请先尝试 1.5B 或 3B 模型。

如果仍需降低占用，可以选择以下方式：

不同格式需要选择对应的 Strategy，具体操作见自定义模型配置。

这个问题通常由 Python 依赖没有安装完整、安装了 CPU 版 PyTorch，或自定义 Python 环境缺少编译工具引起。建议按以下顺序排查：

install-py-dep

请先更新显卡驱动。如果无法解决问题，请打开 Runner 配置页，关闭“自定义 CUDA 算子加速”后重试。

RWKV Runner 只有 Cuda 模式（NVIDIA 显卡）支持挂载 state。

非 NVIDIA 显卡需要使用 Ai00 才能搭载 State 文件。

可以。在“设置”页填写目标服务的 API URL 和 API Key。目标服务需要兼容 OpenAI API 格式。

先确认 Runner 已加载模型并启动 API 服务，再按照 API 调用文档中的完整 cURL 示例测试本机接口。若本机调用正常、第三方应用仍然报错，再核对第三方应用填写的端口、接口路径和请求格式。

**手动更新 Runner：**从 RWKV Runner Releases 下载适合当前系统的版本，关闭正在运行的 Runner，再将新版本解压到单独目录。先保留旧目录，确认模型和配置迁移完成后再清理。
**重新检查程序文件和依赖：**关闭 Runner，删除可自动生成的 cache.json，然后重新启动 Runner。
**部署到离线环境：**不要删除 cache.json。请先在同系统、同架构的联网电脑上完成依赖安装，再将整个 Runner 目录复制到离线电脑，并测试模型加载是否正常。

空的 cache.json 不代表依赖已经安装完成，不能用来跳过离线部署准备。

当前版本的 Runner 会准备 backend-python，不需要逐个下载其中的 Python 文件。请在同系统、同架构的联网电脑上启动同一版本的 Runner，等待程序文件和 Python 依赖安装完成，再将整个 Runner 目录复制到内网电脑，并测试模型加载和 API 服务是否正常。

请检查下载列表所有内容是否都已经下载完毕，下载完毕后再点击安装依赖。

如果安装停在 Python 软件包下载阶段，可以在“设置”页切换“使用阿里云Pip镜像源”后重试。离线部署请按照上一节准备完整目录。

不建议只下载 backend-python 或 get-pip.py。Runner 仍需根据 backend-python/requirements.txt 安装 Python 软件包，这两个文件本身不能组成完整环境。