和 checkpoint 对话 - StarForge

训练结束后，用产物起一个 vLLM OpenAI 兼容服务，浏览器里聊天。两个服务可以并排 A/B。只支持 local 和 kuberay。

启动服务

CLI
控制台

sf serve start run:<RUN_ID> --gpus 1          # 评训练产物（hf_export）
sf serve start Qwen/Qwen3.5-9B --gpus 2       # 任意 HF 模型（--gpus 即张量并行度）
sf serve start /shared/models/my-model        # 共享盘路径

sf serve ls                    # 我的服务列表（含端点与剩余 TTL）
sf serve extend <SERVE_ID> --ttl-hours 4      # 续期
sf serve stop <SERVE_ID>      # 停止释放卡

Playground 页（/playground）→ 选择模型（训练产物下拉 / HF id 输入）→ 选卡数 → 启动。页面会显示服务状态、剩余 TTL 与续期按钮。

推理服务占用真实 GPU 配额。服务有闲置 TTL（默认由服务端配置），到期自动停止释放卡——这是防止「起了忘了关」把卡占死的保护，不是故障。需要长时间使用就 extend。

聊天与 A/B 对比

聊天：流式输出、可调 temperature / max tokens、system prompt；
A/B 对比：同一输入并排发给两个服务（如 SFT 产物 vs GRPO 产物），直观感受对齐差异；
服务是 OpenAI 兼容端点，也可以从代码直连（端点与 token 见 sf serve ls）。

执行后端语义

后端	服务形态
local	Docker 容器（vLLM），端口在 console 本机
agent	不支持
kuberay	独立 vLLM Pod（不是 RayJob——训练的 backoff/TTL 不套在长驻服务上）。经 K8s API 代理访问
slurm	不支持（计算节点通常没有从 console 进来的入向路径）

权限

Playground 属于可配置的进阶功能：管理员可按角色 / 用户开放。未开放时页面显示引导卡片而不是报错。