AI工具箱 #开源AI工具#本地模型#模型部署 Ollama - 在自己的电脑上运行语言模型 为想在本机试模型、再把模型接入脚本的用户提供命令行与本地服务。适合先做离线问答原型,再决定是否需要服务器。 2026-11-18 12 阅读
AI工具箱 #开源AI工具#模型部署#模型推理 vLLM - 面向并发请求的模型推理服务 用于把已支持的语言模型部署成服务,重点在服务吞吐和显存利用。适合把单人原型迁移到多人调用的后端。 2026-11-18 8 阅读