Jan - 本地运行语言模型,也可接入远程端点
Menlo Research 的 Jan 可以在电脑上运行本地语言模型,也支持把符合 OpenAI 或 Anthropic 接口格式的远程服务添加到同一个客户端。想在离线对话和云端模型之间…
话题标签
Menlo Research 的 Jan 可以在电脑上运行本地语言模型,也支持把符合 OpenAI 或 Anthropic 接口格式的远程服务添加到同一个客户端。想在离线对话和云端模型之间…
Page Assist 把聊天入口放到浏览器里,可连接本地运行的 Ollama。适合阅读较长的技术文章时,一边查看原文,一边询问这一页讲了什么。
AnythingLLM 把文档、检索和模型对话放在同一个工作区。适合用产品手册、课程讲义或项目说明建立知识库,再通过真实问题检查回答依据。
为想在本机试模型、再把模型接入脚本的用户提供命令行与本地服务。适合先做离线问答原型,再决定是否需要服务器。
用 C/C++ 实现语言模型推理,常用于需要控制量化、上下文长度和硬件分配的本地应用。适合逐项评估速度与资源占用。