EleutherAI 的评测框架用统一的任务定义和指标衡量语言模型。适合在更换模型、量化方案或推理后端时,复现同一组测试并解释结果差异。
代码许可证 MIT(见上方仓库的 LICENSE 文件)。
上手示例
- 选定一个受支持的模型和小规模任务,核对数据集与模型的访问条件。
- 固定任务版本、样本数、少样本示例数和生成参数,先留下基线结果。
- 只改变一个变量后重跑,比较指标并抽查答错的样本,记录环境和模型版本。
使用要点
不同提示模板、样本范围和任务版本得到的分数可能不可比。公开结果时应一并给出评测配置。
暂无评论