CLI 使用指南

The rtp-llm command-line tool is used to run and manage RTP-LLM. You can start by viewing the help message with:

rtp-llm --help

支持的命令:

rtp-llm {serve}

serve

启动OpenAI兼容的API服务.

通过指定模型启动RTP-LLM:

rtp-llm serve /mnt/nas1/hf/bge-reranker-base

指定端口:

rtp-llm serve /mnt/nas1/hf/bge-reranker-base --start_port 26000

通过--help选项了解serve命令更多的选项:

• rtp-llm serve --help=listgroup: 列举所有的参数组

• rtp-llm serve --help=Concurrent: 查看单个参数组

• rtp-llm serve --help=concurrency_limit: 查看特定参数

• rtp-llm serve --help=max: 查找关键词

• rtp-llm serve --help=page: 分页查看帮助

可以通过 rtp-llm serve 获取 所有支持的serve参数.