Menlo Research 的 Jan 可以在电脑上运行本地语言模型,也支持把符合 OpenAI 或 Anthropic 接口格式的远程服务添加到同一个客户端。想在离线对话和云端模型之间切换时,可以分别保留两份配置。
代码许可证 Apache-2.0(见上方仓库的 LICENSE 文件)。
上手示例
- 从本地模型列表中选一个与电脑内存相符的模型,下载完成后开新会话,用一句简短问题确认能正常生成。
- 需要接入 UiUiAPI 时,参照官方自定义端点说明新增远程配置。选 OpenAI 兼容格式,Base URL 填 https://api.uiuihao.com/v1,填入自己的 Key 和账号已开放的聊天模型 ID。
- 分别在本地模型和远程模型下新建会话,提交相同输入。检查当前选中的端点和模型;若远程请求失败,依次核对接口格式、地址和模型权限。
使用要点
本地模型的下载与推理占用本机资源,选远程端点时则由相应服务商处理请求。API 地址字段通常需要版本路径,不要把完整的 /chat/completions 路径重复拼到基础地址里。
暂无评论