用 C/C++ 实现语言模型推理,常用于需要控制量化、上下文长度和硬件分配的本地应用。适合逐项评估速度与资源占用。
代码许可证 MIT(见上方仓库的 LICENSE 文件)。
上手示例
- 准备一个与项目兼容的 GGUF 文件,记录量化规格和文件大小。
- 使用仓库提供的命令行工具,对同一段提示做基准测试。
- 一次改变一个变量,例如上下文长度或 GPU 卸载层数,再比较速度与峰值内存。
使用要点
模型格式、后端和硬件共同影响表现。比较不同配置时应沿用相同提示和输出长度。
用 C/C++ 实现语言模型推理,常用于需要控制量化、上下文长度和硬件分配的本地应用。适合逐项评估速度与资源占用。
代码许可证 MIT(见上方仓库的 LICENSE 文件)。
模型格式、后端和硬件共同影响表现。比较不同配置时应沿用相同提示和输出长度。
暂无评论