Classification : Implement Batch API for model evaluation

Current Behavior
For evaluation of fine-tuned models, we currently use the Responses API synchronously to generate predictions. These predictions are then compared against the true labels of the corresponding questions. However, this synchronous setup is difficult to manage and would require building a complex system to make the whole process asynchronous and more reliable.

Proposed Improvement
Instead of relying on the synchronous approach, we can leverage the OpenAI Batch API. By sending all evaluation queries together as a batch, we can retrieve the predictions from the batch output file and then compare them against the true labels. This would simplify the workflow and make the evaluation process more scalable and efficient.

document to refer : https://docs.google.com/document/d/1y2WLRUm2dZaQMetvb31XpDH5HqteRe4UNpziG8pq608/edit?tab=t.lbfxo8c09bqd#bookmark=id.1ib6z5f31fld

Xem xét luồng đánh giá đồng bộ hiện tại của Responses API trong repository, sau đó tham khảo tài liệu thiết kế được liên kết để biết workflow batch được đề xuất. Hoàn thành nghĩa là các truy vấn đánh giá được gửi qua Batch API, các dự đoán được đọc từ tệp đầu ra của batch và các dự đoán đó được so sánh với các nhãn thực tương ứng.