Classification : Implement Batch API for model evaluation

未关闭
#345 0 条评论 0 个 reaction 已指派 0 人 在 GitHub 查看

还没有人认领这个 Issue。

评估

难度
4/5
预计耗时
3-5 天
新手友好度
42/100
Issue 类型
功能
描述清晰度
基本清楚
活跃度
停滞
技术栈
python
领域
api, backend-api-design, machine-learning

调研方向

审查 repository 中当前的同步 Responses API 评估流程，然后查阅链接的设计文档，了解提议的批处理工作流。完成的标准是：通过 Batch API 提交评估查询，从批处理输出文件中读取预测结果，并将这些预测结果与对应的真实标签进行比较。

由索引模型根据 Issue 内容生成。

描述

enhancement

Current Behavior
For evaluation of fine-tuned models, we currently use the Responses API synchronously to generate predictions. These predictions are then compared against the true labels of the corresponding questions. However, this synchronous setup is difficult to manage and would require building a complex system to make the whole process asynchronous and more reliable.

Proposed Improvement
Instead of relying on the synchronous approach, we can leverage the OpenAI Batch API. By sending all evaluation queries together as a batch, we can retrieve the predictions from the batch output file and then compare them against the true labels. This would simplify the workflow and make the evaluation process more scalable and efficient.

document to refer : https://docs.google.com/document/d/1y2WLRUm2dZaQMetvb31XpDH5HqteRe4UNpziG8pq608/edit?tab=t.lbfxo8c09bqd#bookmark=id.1ib6z5f31fld

主要语言
Python
星标
18
派生
10
平均合并
2 天 20 小时
30 天内合并 PR
14

贡献指南

打开贡献指南

从这里开始

  1. 先读完整个 Issue，再读项目的贡献指南。
  2. 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
  3. Fork 仓库，在一个分支上完成修改。
  4. 提交 Pull Request，并在描述里引用这个 Issue 编号。

ProjectTech4DevAI/kaapi-backend 的其他 Issue

查看 ProjectTech4DevAI/kaapi-backend 的全部 Issue

相似的 Issue

更多 Python Issue

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。