用于把已支持的语言模型部署成服务,重点在服务吞吐和显存利用。适合把单人原型迁移到多人调用的后端。
代码许可证 Apache-2.0(见上方仓库的 LICENSE 文件)。
上手示例
- 先确认目标模型、硬件和驱动在当前版本的支持范围内。
- 启动一个模型服务,用短请求验证返回格式和生成长度。
- 逐步增加并发,分别记录首个输出的等待时间、整体吞吐和显存峰值。
使用要点
单次请求最快的配置未必适合多用户并发。还应使用接近真实业务的长短输入混合测试。
用于把已支持的语言模型部署成服务,重点在服务吞吐和显存利用。适合把单人原型迁移到多人调用的后端。
代码许可证 Apache-2.0(见上方仓库的 LICENSE 文件)。
单次请求最快的配置未必适合多用户并发。还应使用接近真实业务的长短输入混合测试。
暂无评论