为想在本机试模型、再把模型接入脚本的用户提供命令行与本地服务。适合先做离线问答原型,再决定是否需要服务器。
代码许可证 MIT(见上方仓库的 LICENSE 文件)。
上手示例
- 安装对应系统的版本,按可用内存从官方模型库选择较小的模型。
- 用 ollama run 加模型名开始对话,并固定同一问题记录回答速度。
- 通过本地服务把相同问题交给自己的程序,核对返回内容与错误处理。
使用要点
模型会占用磁盘与内存。选择时分别查看运行工具和具体模型权重的使用许可。
为想在本机试模型、再把模型接入脚本的用户提供命令行与本地服务。适合先做离线问答原型,再决定是否需要服务器。
代码许可证 MIT(见上方仓库的 LICENSE 文件)。
模型会占用磁盘与内存。选择时分别查看运行工具和具体模型权重的使用许可。
暂无评论