bytedance / bytedance/FullStackBench

Confusion about evaluation datasets

Đang mở
#3 0 bình luận 0 reaction 0 người được giao Xem trên GitHub
Ngôn ngữ chính
Python
Star
121
Fork
10
Chỉ số merge pull request
Không có pull request nào được merge trong 30 ngày

Mô tả

When I was looking at the evaluation questions, I found that some PHP questions required the code to be converted into PHP, but the reference code provided was already PHP. Is this intentionally designed to test the model copying ability or is it a design error?

Two examples are as follows:
```
"content": "Please convert the following code to PHP, with the function signature `function order_by_points($nums)`\nNote:\n1. Only implement the target function and import necessary packages, do not generate other code\n\n```php\n\nfunction order_by_points($nums) {\n \n function digits_sum($n) {\n $neg = 1;\n if ($n < 0) {\n $n = -1 * $n;\n $neg = -1;\n }\n $n = array_map('intval', str_split($n));\n $n[0] = $n[0] * $neg;\n return array_sum($n);\n }\n usort($nums, function($a, $b) {\n return digits_sum($a) <=> digits_sum($b);\n });\n return $nums;\n}\n\n```",
"id": 297,

"content": "Please convert the following code to PHP, with the function signature `function do_algebra($operator, $operand)`. Note: Only implement the target function and import necessary packages, do not generate other code.\n\n```php\n\nfunction do_algebra($operator, $operand) {\n\n $expression = strval($operand[0]);\n foreach (array_combine($operator, array_slice($operand, 1)) as $oprt => $oprn) {\n $expression .= $oprt . strval($oprn);\n }\n return eval('return '.$expression.';');\n}\n\n```",
"id": 298,
```

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Hướng nghiên cứu

Kiểm tra các mục 297 và 298 trong tập dữ liệu đánh giá, là hai ví dụ được nêu trong issue, và so sánh các prompt chuyển đổi PHP của chúng với mã tham chiếu được nhúng. Hoàn tất khi xác định được sự không khớp giữa prompt và tham chiếu là có chủ ý hay đã sửa các mục bị ảnh hưởng trong tập dữ liệu cho phù hợp.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
php
Lĩnh vực
testing-qa
Loại issue
Lỗi
Độ khó
3/5
Thời gian dự kiến
1-2 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Cần làm rõ
Mức phù hợp với người mới
35/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.