Kappa computation when predicted scores are on a different scale

In a situation where predicted scores are on a completely different scale from the observed scores, kappa computation fails because the range of possible scores is too large. We saw this recently with SGDRegressor which produced scores in the range 1233372304332.22 to 1723509896207.16 when human scores were 1-5.

Few possible solutions:
(1) Do not compute kappa if there is no overlap in range between predicted and observed scores.
(2) Do not compute kappa if the range is greater than certain threshold.

Thoughts?

Không có tệp, bài kiểm thử hoặc điểm vào nào được nêu. Hãy bắt đầu bằng cách xác định phép tính kappa và tái hiện lỗi với các score dự đoán quanh 1233372304332.22–1723509896207.16 và các score quan sát được từ 1–5. Công việc được coi là hoàn thành khi một chính sách đã thống nhất cho các khoảng score không chồng lấn hoặc quá lớn được triển khai và lỗi được một bài kiểm thử bao phủ.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.