AI工具箱 #开源AI工具#本地模型#模型推理 llama.cpp - 在 CPU 或 GPU 上运行 GGUF 模型 用 C/C++ 实现语言模型推理,常用于需要控制量化、上下文长度和硬件分配的本地应用。适合逐项评估速度与资源占用。 2026-11-18 10 阅读
AI工具箱 #开源AI工具#模型部署#模型推理 vLLM - 面向并发请求的模型推理服务 用于把已支持的语言模型部署成服务,重点在服务吞吐和显存利用。适合把单人原型迁移到多人调用的后端。 2026-11-18 7 阅读