Documentation Index
Fetch the complete documentation index at: /llms.txt
Use this file to discover all available pages before exploring further.
Playground 推理服务的启动、列表、续期与停止
sf serve start <MODEL> [选项]
| 参数 / 选项 | 说明 |
|---|---|
MODEL（必填） | HF id / 共享盘绝对路径 / run:<run_id>（取该 run 的 hf_export） |
-g, --gpus | 卡数 = 张量并行度（默认 1） |
--ttl-hours | 闲置 TTL（小时）；默认取服务端配置 |
sf serve ls # 我的服务：状态、端点、剩余 TTL
sf serve extend <SERVE_ID> --ttl-hours 4
sf serve stop <SERVE_ID>
extend，不用了尽早 stop。sf serve ls 给出的地址可直接配给任何 OpenAI SDK 客户端。
sf servesf serve <subcommand>
| 命令 | 说明 |
|---|---|
sf serve extend | Extend an inference service’s TTL |
sf serve ls | List my inference services |
sf serve start | Start an inference service |
sf serve stop | Stop an inference service |
sf serve extendsf serve extend <RUN_ID> [options]
| 参数 | 说明 |
|---|---|
RUN_ID | 必填 |
| 选项 | 说明 |
|---|---|
--hours <float> | How much longer, in hours (默认 1.0) |
sf serve lssf serve ls
--help 外没有其他选项。
sf serve startsf serve start <MODEL> [options]
| 参数 | 说明 |
|---|---|
MODEL | An HF id / an absolute path on shared storage / run:<run_id> (必填) |
| 选项 | 说明 |
|---|---|
--gpus, -g <int> | How many cards (the tensor-parallel size) (默认 1) |
--ttl-hours <float> | Idle TTL in hours (default: the server setting) |
sf serve stopsf serve stop <RUN_ID>
| 参数 | 说明 |
|---|---|
RUN_ID | 必填 |
--help 外没有其他选项。